26

Odp: Wirtualizacja wszystkiego

O fajna płyta widzę, dzięki za linka - imponująca liczba sata.
Ale czy "zdrada" na pfsense z openwrt warta grzechu? czy wolisz jakąs funkcjonalność pfsensa?

Pozdrawiam

27

Odp: Wirtualizacja wszystkiego

szyper napisał/a:

O fajna płyta widzę, dzięki za linka - imponująca liczba sata.
Ale czy "zdrada" na pfsense z openwrt warta grzechu? czy wolisz jakąs funkcjonalność pfsensa?

Pozdrawiam

Mam wszystko z GUI, ładne GUI, więcej funkcji, zero problemów od przeszło 5 lat, mam openwrt na ap i tam mi wystarczy.

Dom : router https://i.imgur.com/IuB6Zwy.png | TP-LINK T1700G-28TQ |Zyxel XGS-1210-12 | 6x Ruckus r310 unleashed  + Ruckus icx7150-c12p | Truenas scale 124TB 25Gb| Xpenology 12TB | apc smart ups 750 lcd smile 100Mb/s - 25Gb/s
Podróżne : GL.Inet MT3000  +1TB hdd
Działka : rb260gs 1j wdm 1Gb+ ruckus r310 + nb m5 + kilka kamer ip  + panel 285Wp + lifepo4 12v 60Ah .

28 (edytowany przez lexmark3200 2024-01-10 13:17:51)

Odp: Wirtualizacja wszystkiego

Mam HP 6300 SFF z i3-3240 oraz 800 g1 SFF z i5-4790. Pierwszy nie obsługuje VT i VT-d, drugi już tak, ale w Proxmox właśnie przy próbie przepuszczenia PCI, wyskakuje, że nie ma wsparcia dla IOMMU lub nie jest uruchomione.
W BIOS mam uuchomione.
Ogólnie:
*HP 6300 SFF w konfiguracji:
   - i3-3240 + 8 GB DDR i dysk APACER 16GB plus 120 GB jakiś BURST SSD - na OMV schodzi do 14,3W (czasem 13.7W).
*HP 800 g1 :
   - i5-4790 + 16GB DDR i te same dyski (przełożone) - na OMV schodzi do 17,3W.

Podobnie ma się sprawa na Proxmox, gdy ten postawiony jest na BURST 120GB SSD.
Gdy odpala jakąś VM podjedzie do 26W (i3) lub 30W na i5 i później spada do ok 15-19W.
Dużo - mało - trudno powiedzieć...
Dwa cieniasy w moim przypadku to mniej niż 10W gdy nic nie zapisuje na HDD po sieci, czyli robią coś w idlee (dockery i piHole).
Plus SFF - bez kombinacji w przypadku 6300 wstawiam 4 dyski na sata, dla 800 g1 już tylko 3 dyski.

29

Odp: Wirtualizacja wszystkiego

ambrozy5 napisał/a:
szyper napisał/a:

O fajna płyta widzę, dzięki za linka - imponująca liczba sata.
Ale czy "zdrada" na pfsense z openwrt warta grzechu? czy wolisz jakąs funkcjonalność pfsensa?

Pozdrawiam

Mam wszystko z GUI, ładne GUI, więcej funkcji, zero problemów od przeszło 5 lat, mam openwrt na ap i tam mi wystarczy.

Dokładnie tak. U mnie OPNsense stoi już czwarty rok. Na AP OpenWRT.
Potrafią się dogadać ;-)

30

Odp: Wirtualizacja wszystkiego

m920q i intel x520-da2 , cx-4 jeszcze nie wkładałem.
https://i.imgur.com/aLyk6Hb.png

Dom : router https://i.imgur.com/IuB6Zwy.png | TP-LINK T1700G-28TQ |Zyxel XGS-1210-12 | 6x Ruckus r310 unleashed  + Ruckus icx7150-c12p | Truenas scale 124TB 25Gb| Xpenology 12TB | apc smart ups 750 lcd smile 100Mb/s - 25Gb/s
Podróżne : GL.Inet MT3000  +1TB hdd
Działka : rb260gs 1j wdm 1Gb+ ruckus r310 + nb m5 + kilka kamer ip  + panel 285Wp + lifepo4 12v 60Ah .

31

Odp: Wirtualizacja wszystkiego

lexmark3200 napisał/a:

Mam HP 6300 SFF z i3-3240 oraz 800 g1 SFF z i5-4790. Pierwszy nie obsługuje VT i VT-d, drugi już tak, ale w Proxmox właśnie przy próbie przepuszczenia PCI, wyskakuje, że nie ma wsparcia dla IOMMU lub nie jest uruchomione.
W BIOS mam uuchomione.

Hej, nie musi być jakis inny problem - jak masz w biosie ustawione vt i vt-d, w grubie czy efi dodane wsparcie do iommu (2 wpisy) i moduły w proxmoxie to u mnie smiga Openwrt na 2 sieciowkach przepuszczonych (pci-e). Takze ciekawe co dmesg ci pokazuje jak przegrepujesz przez DMAR i IOMMU.

Zrobie sobie niedługo porównanie opnsensa vs openwrt na parudziesięciu uzytkownikach i laczach gigabitowych - sam jestem ciekaw czy bedzie roznica.

Pozdrawiam

32

Odp: Wirtualizacja wszystkiego

ambrozy5 napisał/a:

m920q i intel x520-da2 , cx-4 jeszcze nie wkładałem.
https://i.imgur.com/aLyk6Hb.png

Ambrozy5 z czego to jest zrzut?

33

Odp: Wirtualizacja wszystkiego

szyper napisał/a:
lexmark3200 napisał/a:

Mam HP 6300 SFF z i3-3240 oraz 800 g1 SFF z i5-4790. Pierwszy nie obsługuje VT i VT-d, drugi już tak, ale w Proxmox właśnie przy próbie przepuszczenia PCI, wyskakuje, że nie ma wsparcia dla IOMMU lub nie jest uruchomione.
W BIOS mam uuchomione.

Hej, nie musi być jakis inny problem - jak masz w biosie ustawione vt i vt-d, w grubie czy efi dodane wsparcie do iommu (2 wpisy) i moduły w proxmoxie to u mnie smiga Openwrt na 2 sieciowkach przepuszczonych (pci-e). Takze ciekawe co dmesg ci pokazuje jak przegrepujesz przez DMAR i IOMMU.

Zrobie sobie niedługo porównanie opnsensa vs openwrt na parudziesięciu uzytkownikach i laczach gigabitowych - sam jestem ciekaw czy bedzie roznica.

Pozdrawiam


Muszę pomęczyć temat. Stoją u mnie obie maszyny i w sumie rok czasu odłączone od sieci. Ten i3 chciałem dać jako backup mojego nas. W BIOS ma opcje planowania włączenia systemu. Rsync zrobi co trzeba i się wyłączy.

34

Odp: Wirtualizacja wszystkiego

szyper napisał/a:
ambrozy5 napisał/a:

m920q i intel x520-da2 , cx-4 jeszcze nie wkładałem.
https://i.imgur.com/aLyk6Hb.png

Ambrozy5 z czego to jest zrzut?

No ten tego z esxi. Jakoś tak bardziej mi pasuje względem proxmoxa.

Dom : router https://i.imgur.com/IuB6Zwy.png | TP-LINK T1700G-28TQ |Zyxel XGS-1210-12 | 6x Ruckus r310 unleashed  + Ruckus icx7150-c12p | Truenas scale 124TB 25Gb| Xpenology 12TB | apc smart ups 750 lcd smile 100Mb/s - 25Gb/s
Podróżne : GL.Inet MT3000  +1TB hdd
Działka : rb260gs 1j wdm 1Gb+ ruckus r310 + nb m5 + kilka kamer ip  + panel 285Wp + lifepo4 12v 60Ah .

35

Odp: Wirtualizacja wszystkiego

Właśnie robię konfigurację nowej maszyny proxmox i tak się zastanawiam czy bez IOMMU to bezpiecznie?
Mam 2 złącza ETH fizyczne.
W Proxmox
ETH0 - linux bridge vmbr0 - podłączone fizycznie do bridgea FTH
ETH1 - linux bridge vmbr1 - podłączone do switcha sieci LAN

VM openwrt podłączone do obu vmbr0 i vmbr1.

W Openwrt vmbr0 to ETH0 = WAN i odpowiednio vmbr1 to ETH1 = br-lan

Czy jak openwrt połączy się z internetem przez PPPoE to czy "pod spodem" na ETH0 nie może zestawić się inne połączenie np DHCP z bridge światłowodu?
Czy tu nie zrobi się jakiś bałagan albo luka w bezpieczeństwie?

36

Odp: Wirtualizacja wszystkiego

Serwerek działa.
1 Openwrt router
2 Domoticz server

Pierwsze problemy też już wyszły.
Okazało się, że na kartach Gigabit etherner realtek zawieszają się porty ethernet.
Okazało się, że to funkcja EEE (usypianie kart).
Nie dało się tego prosto naprawić więc trzeba było uruchomić narzędzie "ethtool" wyłączające to przy każdym starcie.

Już wiem, dlaczego wszyscy szukają tych MiniPC z kartami intela:)

37

Odp: Wirtualizacja wszystkiego

Hejo,
dziś będę walczył z Proxmoxem by go ustawić na 2 opcjach:

Xpenology
Openwrt + WIFI (na karcie NIE intela)

Gdzie mogę fajne poradniki znaleźć by taki zestawik ustawić?
Startuje w tej dziedzinie i przydały by się jakieś fajne poradniki ewentualnie sugestie.
Pfsense dużo różni się od Proxmoxa? Jeśli tak to jakie kwestie mogę rozważyć?

stawiam to na takim czymś:
Router Pentium N6005 N5105 V5

https://www.aliexpress.com/item/1005003 … pt=glo2pol

dysk m2: 256gb
ram: 16gb
dysk sata 3,5: 8tb iron wolf
karta wifi: Karta WIFI Qualcomm Atheros QCNFA344A Asus R556LJ

38

Odp: Wirtualizacja wszystkiego

pfsense vs proxmox. To tak jak być chciał porównać łyżkę z garnkiem. Dwie różne rzeczy.

Masz niepotrzebny router, uszkodzony czy nie - chętnie przygarnę go.

39 (edytowany przez lexmark3200 2024-03-06 13:53:53)

Odp: Wirtualizacja wszystkiego

Pfsense to zapora ogniowa na freeBSD, a proxmox to wirtualizacja. Dwie różne rzeczy...

40 (edytowany przez d00d3k 2024-03-06 14:51:15)

Odp: Wirtualizacja wszystkiego

ok dzięki za wyjaśnienie coś mi się pokićkało sad
A co do promoxa gdzie uczyliście się go konfigurować? Chciałbym złapać jakieś podstawy, żeby postawić jak wyżej napisałem OpenWrt z wifi oraz Xpenology - łącznie z konfiguracjami, by chodziło to już na dzień dobry bezproblemowo.

/edit: dzięki Cezary wink coś poszperam smile

41

Odp: Wirtualizacja wszystkiego

d00d3k napisał/a:

ok dzięki za wyjaśnienie coś mi się pokićkało sad
A co do promoxa gdzie uczyliście się go konfigurować? Chciałbym złapać jakieś podstawy, żeby postawić jak wyżej napisałem OpenWrt z wifi oraz Xpenology - łącznie z konfiguracjami, by chodziło to już na dzień dobry bezproblemowo.

Tu rozmawiamy o openwrt. Bardzo wiele filmów o proxmoxie znajdziesz na Youtube, zakładem że też mają jakieś tam swoje forum wsparcia.

Masz niepotrzebny router, uszkodzony czy nie - chętnie przygarnę go.

42 (edytowany przez kacperr 2024-10-16 11:16:54)

Odp: Wirtualizacja wszystkiego

Jeżeli ktoś zainteresowany to może podsumuję moje przygody z wirtualizacją

Udało się zwirtualizować na PROXMOX: Router, PiHole, Frigate NVR + Google Coral passthrough

Uwagi
1. Sprzęt tylko na kartach intela. Żadnych innych! Straciłem na te inne cuda dziesiątki godzin.

2. Routerowi Gargoyle X86 od Cezarego przekazałem dwa ETH przez passthrough - śmiga 500 mbit przez PPPoE na jednym rdzeniu procesora j4125 bez czkawek i żadnych IRQ balance itd.

Tu pobór mocy całej maszyny 4-6 W:) - NanoPi R2S z samym Gargoyle pobierał 3-4 W.

3. Żadnych softswitchy - pakiety kieruje fizyczny zwykły switch

4. Po dodaniu 1tb HDD 2,5 cala na SATA + LXC Frigate + Google coral TPU M2 dalej wszystko działa be zająknięcia.

Teraz pobór mocy 10-15 W max.

Oczywiście codzienny backup VM / kontenerów na inny dysk dla bezpieczństawa.

Odzyskanie takiego konfigu to max 30 min z postawieniem nowego Proxmoxa.

Działa od 2 tyg. Zobaczymy co dalej.

43

Odp: Wirtualizacja wszystkiego

co to dokładnie za sprzęt co zadowala się  4-6 W?

44

Odp: Wirtualizacja wszystkiego

dokładnie ten
https://pl.aliexpress.com/item/1005006395615607.html

Kupiony na początku 2024 roku.
Wyłączone wszystko co możliwe w BIOS.
Włączone C-state w BIOS
Zablokowane ASPM (usypianie urządzeń PCIE)

Dysk SSD na MSATA.

45 (edytowany przez kacperr 2024-10-16 17:47:59)

Odp: Wirtualizacja wszystkiego

A przepraszam.

Poprawka:

Aktualny zestaw
CPU: j4125
8GB RAM
128 GB SSD MSATA no name
Google Coral M2 A+E TPU + przejściówka A+E do MSATA
1TB HDD SAMSUNG SATA
Wiatrak z PWM

Włączona tylko wirtualka Gargoyle X86.

Podłączone tylko 2 przewody WAN i LAN.

Aktualny pobór mocy 7W.

Bez HDD i Coral TPU było to 5W średnio.

46

Odp: Wirtualizacja wszystkiego

ja z kartami mellanox, broadcom, chelsio, solarflare nigdy nie miałem problemów z proxem ani z esxi. Intel x710 2x 40Gb zero problemów również. nie wiem jak karty 100Gb bo jeszcze nie gościłem w domowym labie. Dlaczego zdecydowałeś się na gargoyle ?

Dom : router https://i.imgur.com/IuB6Zwy.png | TP-LINK T1700G-28TQ |Zyxel XGS-1210-12 | 6x Ruckus r310 unleashed  + Ruckus icx7150-c12p | Truenas scale 124TB 25Gb| Xpenology 12TB | apc smart ups 750 lcd smile 100Mb/s - 25Gb/s
Podróżne : GL.Inet MT3000  +1TB hdd
Działka : rb260gs 1j wdm 1Gb+ ruckus r310 + nb m5 + kilka kamer ip  + panel 285Wp + lifepo4 12v 60Ah .

47

Odp: Wirtualizacja wszystkiego

Chodziło o performance.
Z kartami Realtek nie byłem w stanie przewalić 500mbit przez router z CPU N3700, N3160 nawet na wielu rdzeniach.
Tu na jednym z kartami Intel śmiga.

Gargoyle bo wygodne GUI i wbudowany Wireguard.

48

Odp: Wirtualizacja wszystkiego

Mój lenovo m920q z i5 8500t 2*16gb ramu ,ssd nvme 256GB plus intel x520 2x10gb światlo ,z esxi na którym mam openwrt jako router plus win10 jako rdp wraz z ha zaciąga 20-25W idlle. Czy to dużo? Mellanox cx4 2x25gb pobiera pare watów mniej ale mocowanie sledzia nie pasuje . Ta co mam 40gb nie miesci sie niestety.

Dom : router https://i.imgur.com/IuB6Zwy.png | TP-LINK T1700G-28TQ |Zyxel XGS-1210-12 | 6x Ruckus r310 unleashed  + Ruckus icx7150-c12p | Truenas scale 124TB 25Gb| Xpenology 12TB | apc smart ups 750 lcd smile 100Mb/s - 25Gb/s
Podróżne : GL.Inet MT3000  +1TB hdd
Działka : rb260gs 1j wdm 1Gb+ ruckus r310 + nb m5 + kilka kamer ip  + panel 285Wp + lifepo4 12v 60Ah .