Temat: Wirtualizacja wszystkiego

Cześć,
Wpadłem na pomysł przeniesienia "wszystkiego" na maszyny wirtualne.

Ciekaw jestem waszych opinii - pewnie część z Was już przez to przeszła.

Sprzęt - Pentium N3700 4 rdzenie, 8GB RAM, MSATA 256GB + 1TB HDD, 2x LAN Gigabit Realtek. Wszystko pasywne. pobór prądu między 4 a 8 W.
Proxmox już na tym działa.

Do "zwirtualizowania"
1. Router Openwrt - przesiadka z Linksys EA7500 v2
2. Intel NUC z Domoticz
3. Synology DS216play -> xpenology lub OMV ale na fizycznym dysku (HDD 1TB będzie dedykowany dla maszyny wirtualnej)
4. Może jakiś print server ale taki, żeby drukował z telefonów Android i iPhone.
Z 3 urządzeń zrobi się jedno z 3 maszynami wirtualnymi.

Mocy CPU i RAM wg mnie starczy. Procek słaby ale super oszczędny.

Zalety:
+ oszczędność miejsca i prądu
+ zabawa
+ możliwość robienia snapshotów i testowania nowych rozwiązań na klonach maszyn virtualnych a nie na "żywym" systemie.

Wady:
- pada jedno urządzenie i cała sieć leży (dane i infrastruktura)
- nie wiem jak z wydajnością LAN Gigabit. Internet to tylko 120Mbit więc tu nie widzę problemu ale np. transfery po LAN do wirtualnego NASa sa zagadką.

Będę wdzięczny za wszelkie sugestie.

2

Odp: Wirtualizacja wszystkiego

Doskonały pomysł, o ile nie padnie sprzęt. Najmniejszy problem i tracisz całą sieć. I zawsze się to dzieje jak akurat coś ważnego masz do zrobienia.

Masz niepotrzebny router, uszkodzony czy nie - chętnie przygarnę go.

3

Odp: Wirtualizacja wszystkiego

Tak, dlatego awaryjnie zostawiam router z jakąś bazową konfiguracją.
Lub może Intel NUC + druga karta sieciowa na USB jako klon proxmoxa. Pada jeden - podłączam drugi. Proxmox ma możliwość robienia backupów tałych maszyn. Może to robić np co miesiąc na kompie głównym w Virtualbox Proxmox backup server.

W domu nie mam żadnej infrastruktury krytyczne. Wszystko może działać offline. Staram się tak robić automatykę domową tak, by węzły były niezależne a tylko raportowały do Domiticza.

4

Odp: Wirtualizacja wszystkiego

Ja też teoretycznie nie mam nic ważnego, ale jak pada to domownicy świrują bo nie ma internetu smile. Mimo że każdy ma swój w telefonie.

Masz niepotrzebny router, uszkodzony czy nie - chętnie przygarnę go.

5

Odp: Wirtualizacja wszystkiego

smile

6

Odp: Wirtualizacja wszystkiego

W zasadzie to jeśli wyeliminuje się przyczyny "padania" to działa bezawaryjnie. Ja swój host mam pod upsem, włączone autostart po zaniku zasilania, włączony autostart maszyn z openwrt i win10 rdp i w sumie nic złego się z tym nie dzieje. Wydajność? 4vc z i5-8500t skutkuje nat prawie 10gbps z lodem CPU na poziomie 0.3 w openwrt, irqballance jest na pałę ustawione i chyba trafiłem bo rozkłada load ładnie.

Dom : router https://i.imgur.com/IuB6Zwy.png | TP-LINK T1700G-28TQ |Zyxel XGS-1210-12 | 6x Ruckus r310 unleashed  + Ruckus icx7150-c12p | Truenas scale 124TB 25Gb| Xpenology 12TB | apc smart ups 750 lcd smile 100Mb/s - 25Gb/s
Podróżne : GL.Inet MT3000  +1TB hdd
Działka : rb260gs 1j wdm 1Gb+ ruckus r310 + nb m5 + kilka kamer ip  + panel 285Wp + lifepo4 12v 60Ah .

7

Odp: Wirtualizacja wszystkiego

hej,
Pamięci i rdzeni Ci wystarczy.
Proxmox na leciwym home-lab X86 z openwrt + OMV - 900 mbit transferu przy nagrywaniu na NAS'a (dysk też w wirtualizacji testowo)
Pamiętaj, ze X86 z Openwrt zachowuje sie inaczej przy update - domyślnie nie zachowuje CI konfiguracji, jak czytałem (póki co jeszcze nie robiłem update -> bawiłem się w miniony weekend)
Rozważ HA z Proxmoxem, jeśli masz drugą maszynkę.

8

Odp: Wirtualizacja wszystkiego

No widzę, że na razie sprzęt powinien dać radę.
Dziękuję za podpowiedź w sprawie update ale i tak planowałem zrobić środowisko testowe dla aktualizacji routera.

Maszynkę zapasową mam (nawet 3) ale nie używam HA (Home Assistant) tylko Domoticz.
Sugerujesz by automatykę domową wydzielić sprzętowo?

9

Odp: Wirtualizacja wszystkiego

Taki ciuteńkę offtop - ostatnio po cichu światło dzienne ujrzał projekt tomato64 - ot tomato na urządzenia z cpu x86_64 , dodatkowo na kernelu 6.6 już jest ! no i nie traci konfiguracji po aktualizacji, poza tym ma to co  miało od zawsze tomato smile próbowałem uruchomić na esxi ale coś mi nie startuje, muszę nad tym przysiąść jeszcze.
A wracając do tematu - ja sam nie mogę się przemóc aby zwirtualizowac router , nie jestem fanem wszystko na jednej maszynie , z prostego powodu - coś się wysypie i nie masz nic big_smile później to odkręcaj . Może jeśli by to na klastrze działało z HA ale to kolejne maszyny wtedy . Więc z tego powodu mam osobną maszynę, która działa jako firewall z routerem (pfsense) a mniej potrzebne rzeczy na wirtualkach. żadne dockery. Kiedyś nawet miałem dwa fujitsu s920 z pfsense ustawione w HA i to tez działało bez krzty problemu.

Dom : router https://i.imgur.com/IuB6Zwy.png | TP-LINK T1700G-28TQ |Zyxel XGS-1210-12 | 6x Ruckus r310 unleashed  + Ruckus icx7150-c12p | Truenas scale 124TB 25Gb| Xpenology 12TB | apc smart ups 750 lcd smile 100Mb/s - 25Gb/s
Podróżne : GL.Inet MT3000  +1TB hdd
Działka : rb260gs 1j wdm 1Gb+ ruckus r310 + nb m5 + kilka kamer ip  + panel 285Wp + lifepo4 12v 60Ah .

10

Odp: Wirtualizacja wszystkiego

OK, kumam HA = High-availability:)

11

Odp: Wirtualizacja wszystkiego

ambrozy5 napisał/a:

Taki ciuteńkę offtop - ostatnio po cichu światło dzienne ujrzał projekt tomato64 - ot tomato na urządzenia z cpu x86_64 , dodatkowo na kernelu 6.6 już jest ! no i nie traci konfiguracji po aktualizacji, poza tym ma to co  miało od zawsze tomato smile próbowałem uruchomić na esxi ale coś mi nie startuje, muszę nad tym przysiąść jeszcze.

Ciekawe jaka będzie przyszłość tego. DD-WRT też na x86 było (jest?), tak samo jak np. mikrotik. Choć nie widziałem żeby ktoś tego na x86 używał.

Ja za to używam swojego mifi na x86 smile

Masz niepotrzebny router, uszkodzony czy nie - chętnie przygarnę go.

12

Odp: Wirtualizacja wszystkiego

Ja nie przepadam za dd-wrt, tomato za miałem na dziś archaicznym już ovislinku , coś koło 2010 roku, potem już x86 i Debian. N16 z tomato, n66u z tomato, nbg6616 z openwrt i przejście na pfsense no i tak zostało, od przeszło 5 lat pfsense.

Dom : router https://i.imgur.com/IuB6Zwy.png | TP-LINK T1700G-28TQ |Zyxel XGS-1210-12 | 6x Ruckus r310 unleashed  + Ruckus icx7150-c12p | Truenas scale 124TB 25Gb| Xpenology 12TB | apc smart ups 750 lcd smile 100Mb/s - 25Gb/s
Podróżne : GL.Inet MT3000  +1TB hdd
Działka : rb260gs 1j wdm 1Gb+ ruckus r310 + nb m5 + kilka kamer ip  + panel 285Wp + lifepo4 12v 60Ah .

13

Odp: Wirtualizacja wszystkiego

Zawsze możesz postawić OPNsense na wirtualnej zamiast openWRT.

14

Odp: Wirtualizacja wszystkiego

Jeżeli korzystam tylko z Adblock, jednego VLAN i OpenVPN to jest "sens" przesiadki na OPNsense czy pfsense?

15

Odp: Wirtualizacja wszystkiego

To sobie w dokerze postaw usługi...

Masz niepotrzebny router, uszkodzony czy nie - chętnie przygarnę go.

16

Odp: Wirtualizacja wszystkiego

Nie no doker to kolejny temat do analizy. Bawię się w sieci raczej hobbystycznie i nie chcę wprowadzać kolejnego rozwiązania do analizy gdy coś nie zadziała.

Raczej będą to kolejne maszyny wirtualne czyli Router/NAS/automatyka domowa.
Z tego co piszecie, to poza zwiększonym ryzykiem padnięcia wszystkich usług naraz w wypadku uszkodzenia servera Proxmox to nie ma większych przeciwskazań.

Zamówiłem dziś na Amazonie brakujące części do serwerka (przelotka do karty NGFF na MPCIE w komputerze) i jak tylko przyjdą to biorę się do pracy.

17 (edytowany przez lexmark3200 2024-01-09 08:14:09)

Odp: Wirtualizacja wszystkiego

kacperr napisał/a:

Jeżeli korzystam tylko z Adblock, jednego VLAN i OpenVPN to jest "sens" przesiadki na OPNsense czy pfsense?

openWRT i OPNsense to dwa różne systemy. Nie można ich od tak sobie porównywać.

Możesz pozostawić router jako osobne urządzenie a resztę wrzucić na VM.
Obecnie jakoś każdy dąży do tego aby zaoszczędzić pobór prądu - ok. Jest to zrozumiałe i w sumie logiczne, ale czy logiczne jest wydać na zakup 450-500 zł (na jakiegoś cieniasa), żeby pobrał mniej 0 2-3W prądu?? Policz ile musi chodzić żeby się zwrócił porównując sam prąd.
Mam u siebie t620 plus, jako właśnie router z OPNsense - pobór ok 10-11W, do tego s920 jako NAS, na nim OMV i kilka dockerów m.in zapasowy pi-Hole, do tego t620 jako podstawowy pi-Hole.
t620 + s 920 pobierają w sumie w "idle" - a w sumie i tak coś robią bo działa docker na nich i usługi - więc to takie idlee naciągane max 7-8W, jak zapisuje na NAS to podejdzie na s920 do 7,8-9W.

18

Odp: Wirtualizacja wszystkiego

Hej, też sobie ostatnio testuje openwrt pod Proxmoxem (ciekawe ze teraz tez ten temat) z pass-through sieciowek pod katem rezygnacji kilku maszyn na 1 (NAS+owrt razem i pewnie HA).
Chciałem mieć możliwość testowania różnych wersji Openwrt wygodnie przełączając maszyny VM.
Natomiast zdziwienie dnia było, kiedy testując już od paru miesięcy wersje X-wrt (sorry, za wspominanie tego forka tutaj) na X86, zrobiłem sysupgrade i zachował konfiguracje bez bólu...ciekawe.

Pozdrawiam!

19

Odp: Wirtualizacja wszystkiego

Jasne, aspekt ekonomiczny wzięty pod uwagę.

Sprzęt kupuję tylko na OLX/Allegro używany.
Póki co wydałem na to może 300zł.
100zł N3700/4G RAM / 128 SSD
120zł nuc5i5ryk / 4GB RAm / 256 GB SSD
+ jakieś pierdółki/ przejściówki.

Urządzenia do wyłączenia - pewnie jakieś 25 W w sumie
Router EA7500 v2  - 8-10 W (LAN + AP)
Synology NAS - 10-15 W
Domoticz NUC - 5-8 W

Nowe urządzenia
Maszyna proxmox (router + domoticz + NAS) - 8-10W
Fizyczny AP (bo nie będzie AP routera) 6-8 W

Myślę, że zaoszczędzę góra 10 W. To około 90 kWh rocznie.
60 kWh w dzień X 1,5 zł / kWh = 90zł
30 kWh w nocy X 1 zł / kWh = 30 zł
Rocznie 120zł max.

Do tego eliminacja sporej ilości kabli w szafkach. Mniej szumu i ciepła (synology hałasuje 3,5 HDD).

Finansowo to zwrot po pewnie 2 latach choć dla mnie to bez znaczenia bo mam instalację fotowoltaiczną z dużym zapasem mocy.

No i człowiek się czegoś uczy a do tego ma trochę zabawy:)

Ważne by później utrzymanie tego było proste.

Niestety sprzęt u mnie kapryśny. Co najmniej 2 razy w roku problemy z:
Rasppberry pi z DOMOTICZ parę razy padało.
Router gubił dane i tracił konfig.

Póki co odkąd mam NUC z Domoticzem śmiga aż miło.
Do tego wszelkie upgrady robię na kopii systemu i testuję i dopiero po tym wdrażam aktualizacje na główny system.
Z maszynami fizycznymi to niemożliwe.

Wieżę, że jednak VirtPC na dobrych podzespołach hosta podziała stabilniej.
Tylko backupy muszę wdrożyć.

20

Odp: Wirtualizacja wszystkiego

Ale ten ram Ci wystarczy?? 4GB?

21

Odp: Wirtualizacja wszystkiego

Nie, będzie 8GB

22

Odp: Wirtualizacja wszystkiego

Próbowałem kiedyś na Proxmox na t620 postawić OPNsense w formie VM, ale problem jest z przekazaniem, po prostu system t620 nie obsługuje IOMMU.
Sprawdź czy ten n3700 ogarnie ten temat.

23

Odp: Wirtualizacja wszystkiego

Niestety N3700 nie wspiera IOMMU.
Zrobiłem jednak testy wydajności i bez problemu obsłuży 120Mbit łącze przez bridge.

24 (edytowany przez szyper 2024-01-10 09:37:56)

Odp: Wirtualizacja wszystkiego

Oby, osobiście wolałem mieć płytę z ipmi (Supermicro X9*), xeona (VT i VT-d) można by wyszukać niskim TDP (mało jest w Polsce) i te 20-30W można osiągnąć i fajnie to działa nawet...
Wadą tych płyt jest działanie tylko z określonymi pamięciami. No i sumaryczna cena to od 300 zł w sumie...

25

Odp: Wirtualizacja wszystkiego

szyper napisał/a:

Oby, osobiście wolałem mieć płytę z ipmi (Supermicro X9*), xeona (VT i VT-d) można by wyszukać niskim TDP (mało jest w Polsce) i te 20-30W można osiągnąć i fajnie to działa nawet...
Wadą tych płyt jest działanie tylko z określonymi pamięciami. No i sumaryczna cena to od 300 zł w sumie...

Kupiłem ostatnio do nasa, https://www.ebay.pl/itm/256280015008 , działa elegancko, wrzuciłem 6x8TB + 6TB w xpenology, fajnie śmiga, ipmi to super sprawa. Zastanawiam się czy tam nie wrzucić Pfsense jako główny router bo on ma.dzialac cały czas.

Dom : router https://i.imgur.com/IuB6Zwy.png | TP-LINK T1700G-28TQ |Zyxel XGS-1210-12 | 6x Ruckus r310 unleashed  + Ruckus icx7150-c12p | Truenas scale 124TB 25Gb| Xpenology 12TB | apc smart ups 750 lcd smile 100Mb/s - 25Gb/s
Podróżne : GL.Inet MT3000  +1TB hdd
Działka : rb260gs 1j wdm 1Gb+ ruckus r310 + nb m5 + kilka kamer ip  + panel 285Wp + lifepo4 12v 60Ah .