1

Temat: openwrt - prędkości, dużo użytkowników i światłowód

Witam,

Chciałbym poprosić Was o podzielenie się doświadczeniem co może być przyczyną niskich transferów.
O ile w warunkach domowych na ogół mamy szybką diagnozę, o tyle moja instancja Openwrt w robocie przeżywa ciężkie chwile.
Otóż sytuacja jest taka, że mam orangowy router z łączem 900/300 Mbps (Zyxel VMG8924-AC), za którym jest już Openwrt-PC (celeron G3900 aktualnie 8GB RAM i 2 x 4portowe karty intela - gigabitowe). Troche niekorzystny podwójny NAT, ale nie od dziś.
Próbuje znaleźć przyczynę małych transferów miedzy godziną 9 a 14 (liczba podłączonych IP to około 100-200 może nawet i więcej) - wtedy średni transfer speedtestem to 60-100 Mbps (circa w obie strony). Po przykładowym resecie sytuacja jest niezła, transfery pod maxa, potem jest juz gorzej, a wieczorem czy w nocy sytuacja niezła. Powyłączałem SQM, wydaje mi się że żaden shaping nie wchodzi w gre.
Openwrt 22.03 (nie najnowszy). Jest Multiwan (mwan3) - mam kilka łącz równolegle (wolniejsze poza orangem), tak dla zabezpieczen. Ale nawet to powyłączałem.
Wydaje mi się, że kiedys (czytaj pare lat temu) było lepiej, ale liczba komórek i urządzeń była pewnie 2x mniejsza.
Nikt nie ściagą w tym czasie niczego dużego, od zwykły ruch losowy w typowej sieci pracowniczej.
Jak myślicice co może mieć znaczenie, wersja kernel Openwrt, jakis tuning sysctl itp. Może przejść na opnsense na moment i popatrzyc czy jest różnica, ale openwrt bardzo jest miłe w obsłudze w porównaniu do PF/OPNsense.

Pozdrawiam serdecznie!
Jakie macie obciążenia użytkowników gdzieś w robocie o ile macie tam Openwrt...

2

Odp: openwrt - prędkości, dużo użytkowników i światłowód

Sam sobie odpowiedziałeś.

Dom : router https://i.imgur.com/IuB6Zwy.png | TP-LINK T1700G-28TQ |Zyxel XGS-1210-12 | 6x Ruckus r310 unleashed  + Ruckus icx7150-c12p | Truenas scale 124TB 25Gb| Xpenology 12TB | apc smart ups 750 lcd smile 100Mb/s - 25Gb/s
Podróżne : GL.Inet MT3000  +1TB hdd
Działka : rb260gs 1j wdm 1Gb+ ruckus r310 + nb m5 + kilka kamer ip  + panel 285Wp + lifepo4 12v 60Ah .

3 (edytowany przez Królik 2023-03-03 09:15:48)

Odp: openwrt - prędkości, dużo użytkowników i światłowód

Sprawdź na wersji 21. teoretycznie bftables powinno być dużo szybsze dla wielu połączeń, ale może coś jest niezoptymalizowane jeszcze i iptables będzie działać lepiej.

EDIT: Próbowałeś IRQ balance?

Mam i używam: Fujitsu Futro S720, Netgear R6220, Unielec U7621-06, TP-Linki 1043 V1, V2, Linksysy EA7500v2, AeroHive AP350, Linksys EA8500, ZTE MF286d.
Mam: D-Linki DWR-921, DWR-118, DWR-116, TP-Link WDR-4900 v1, Checkpoint L-50, Linksysy 1900ACS, LB-Link BL-W1200,

4

Odp: openwrt - prędkości, dużo użytkowników i światłowód

Przy 2 wątkach to IRQ może nie zrobić różnicy tym bardziej, że po resecie transfery u autora wątku są na maksa jak deklaruje w #1
W internetach piszą że IRQ od 4 wątków wzwyż daje poprawę np. dla IPQ40xx

Czy nagle między 9-14 nie umie rozłożyć obciążenia a potem już umie?

Może w cronie ma coś wpisane (lejce) żeby ludzie nie bawili się internetem i zapomniał że to ma włączone smile

Xiaomi AX3000T @ Netgear R6220
* DVBT2 - T230C *

5 (edytowany przez chemik89 2023-03-03 10:46:57)

Odp: openwrt - prędkości, dużo użytkowników i światłowód

na jakim mostku masz tego celerona ? rozważ wymianę na coffe, sporo zyskuje wink a teraz są tanie jak barszcz
https://eko.one.pl/forum/viewtopic.php? … 13#p239513

6

Odp: openwrt - prędkości, dużo użytkowników i światłowód

Celeron G3900 mostek h110
zastanawiam sie co ma tutaj najwiekszy wplyw, irqbalance jest wlaczony. Netdata pokazuje mizerne statystyki przerwan itp.
Na Zyxelu 32% obciazenia w zakladce NAT.

7

Odp: openwrt - prędkości, dużo użytkowników i światłowód

@Ambrozy - mam prosbe - jestem mało lotny, mozesz nie odpowiadac jednym zdaniem - moze dla ciebie to banał, ale nie dla mnie. Dzięki z gory!

8

Odp: openwrt - prędkości, dużo użytkowników i światłowód

Może pytanie brzmi, który wskaźnik pracy routera by pokazał ew. punkty blokujące pełny transfer.
Ciekawe działa skrypt "speedtest" (wersja 1.14), który na początku wykrywa typ łącza - i zdarzało mu sie wykryć broadband, a nie fiber.
Chyba na testu wyjme z szafy "czołg" Prolianta z 2xXeonem i popatrze czy to coś zmieni. Ale dziwi mnie ta liczba sesji vs transfer, łacze nie jest obciążone.
Robilem tez taki eksperyment - do Zyxela podłączylem równolegle komputer - obok OpenWRT. Z tego komputera speedtest mizerny jak działa OpenWRT obok. Jak OpenWRT fizycznie odłącze od orangowego Zyxela to magicznie komputer zyskuje pełne pasmo. Natomiast OpenWRT jakby na jakiejś warstwie blokował transfer - może to wina ZYxela i jakiegos limitu w nim?

Pozdrawiam serdecznie

9 (edytowany przez lexmark3200 2023-03-03 17:22:19)

Odp: openwrt - prędkości, dużo użytkowników i światłowód

szyper napisał/a:

@Ambrozy - mam prosbe - jestem mało lotny, mozesz nie odpowiadac jednym zdaniem - moze dla ciebie to banał, ale nie dla mnie. Dzięki z gory!

No ale co Ci ma więcej napisać??

szyper napisał/a:

Próbuje znaleźć przyczynę małych transferów miedzy godziną 9 a 14 (liczba podłączonych IP to około 100-200 może nawet i więcej) - wtedy średni transfer speedtestem to 60-100 Mbps (circa w obie strony).

Sam sobie odpowiedziałeś.
Masz 900/300, średnio 100-200 kleintów, to jak chcesz mieć na każdym 900 Mbps??
To czysta matematyka i chyba ani irqbalance ani inne cudawianki nie pomogą...

Jeśli robisz test to zrób chociażby w tych godzinach gdzie występują problemy, test certyfikowany. Wtedy masz odpowiedź, czy coś się dzieje z łączem, czy problem leży po Twojej stronie.
Po resecie, to ogólnie wysadza wszystkich z sieci, więc to chyba normalne, że zapuszczając test ma full.

10 (edytowany przez szyper 2023-03-03 19:17:08)

Odp: openwrt - prędkości, dużo użytkowników i światłowód

Lexmark, dlaczego na KAZDYM? na jednym jak nie ma aktywnosci na WANIE.

Czyli twierdzisz, że masz mając lacze 1gigabit powiedzmy w sieci LAN i majac 100 komputerów i serwer NAS to żaden z nich nie może osiągnąć gigabita do NAS'a?
100 jest w zasięgu NAS'a, ale z niego nie korzystaja na full speed, i jeden biedny nie moze osiagnac 80-90% lacza w danym momencie?
Pozdrawiam

11

Odp: openwrt - prędkości, dużo użytkowników i światłowód

Królik napisał/a:

Sprawdź na wersji 21. teoretycznie bftables powinno być dużo szybsze dla wielu połączeń, ale może coś jest niezoptymalizowane jeszcze i iptables będzie działać lepiej.

EDIT: Próbowałeś IRQ balance?

Najciekawsze, że przed wakacjami działało to na 1 małym gigabricku (i3-4010), na dodatek z vlanami, na 1 portowym realteku i dawało rade - siedział Openwrt w wersji 19.07. Jeden port w zupełności dawał rade dzielić łącze z 6 interfejsami sieci lokalnej itp.

Dzieki Królik

12 (edytowany przez chemik89 2023-03-03 19:52:15)

Odp: openwrt - prędkości, dużo użytkowników i światłowód

szyper napisał/a:

Celeron G3900 mostek h110
zastanawiam sie co ma tutaj najwiekszy wplyw, irqbalance jest wlaczony. Netdata pokazuje mizerne statystyki przerwan itp.
Na Zyxelu 32% obciazenia w zakladce NAT.

to jak byś chciał się bawić to @coffetime i do przodu ;p Wsadzisz wszystko co wyszło pod tą podstawkę, 5-9gen.

13 (edytowany przez lexmark3200 2023-03-03 20:23:14)

Odp: openwrt - prędkości, dużo użytkowników i światłowód

Czyli twierdzisz, że masz mając lacze 1gigabit powiedzmy w sieci LAN i majac 100 komputerów i serwer NAS to żaden z nich nie może osiągnąć gigabita do NAS'a?

A jak niby ma to ogarnąć?? Jeśli te 100 komputerów próbuje swoje na ten nas zapisać. To jak np 99 komputer ma osiągnąć 1Gb?? Każdy "ciągnie swoje"...
Gb to max przepustowość łącza. Może spróbuj inaczej. Postaw przed switch iperf i puść 100 testów na ten iperf po 1Gb lanie. Niby każdy zapięty na 1Gb. A czy ten iperf ogarnie 100*1Gb?? Czy wysyci łącze i będzie tylko 1 Gb.??

To tak jak torrent. Idąc Twoim tokiem rozumowania Gb łączą wychodzi na to, że jak postawie na tych 100 kompach klienta torrent to każdy bujać się będzie pod 1Gb. W rzeczywistości jest tak, że jak się bujnie jeden to zatka łącze....

14

Odp: openwrt - prędkości, dużo użytkowników i światłowód

chemik89 napisał/a:
szyper napisał/a:

Celeron G3900 mostek h110
zastanawiam sie co ma tutaj najwiekszy wplyw, irqbalance jest wlaczony. Netdata pokazuje mizerne statystyki przerwan itp.
Na Zyxelu 32% obciazenia w zakladce NAT.

to jak byś chciał się bawić to @coffetime i do przodu ;p Wsadzisz wszystko co wyszło pod tą podstawkę, 5-9gen.

Ej no nie przesadzaj ;-) 6gen jedynie niestety standardowo...bez modyfikacji biosu...

15

Odp: openwrt - prędkości, dużo użytkowników i światłowód

Napisałem wyżej kiedy robię test, widzę że się nie rozumiemy.
Nie chodzi mi o to co piszesz, to jest zrozumiałe, piszę że mając sieć i obciążenie losowe powiedzmy 100 klientów (komórki i desktopy) nie mogę osiągnąć przyzwoitych rezultatów. Przecież możesz monitorować łącze WAN i patrzeć czy ktoś ci nie wysyca łącze poza tobą.
To że masz 100 klientów (nawet i więcej) podłączonych do routera nie powinno przeszkadzać w osiągnieciu choć 400-700 Mbps, jak nikt nie korzysta z łączą - tu sie chyba zgodzisz?

Pozdrawiam

lexmark3200 napisał/a:

Czyli twierdzisz, że masz mając lacze 1gigabit powiedzmy w sieci LAN i majac 100 komputerów i serwer NAS to żaden z nich nie może osiągnąć gigabita do NAS'a?

A jak niby ma to ogarnąć?? Jeśli te 100 komputerów próbuje swoje na ten nas zapisać. To jak np 99 komputer ma osiągnąć 1Gb?? Każdy "ciągnie swoje"...
Gb to max przepustowość łącza. Może spróbuj inaczej. Postaw przed switch iperf i puść 100 testów na ten iperf po 1Gb lanie. Niby każdy zapięty na 1Gb. A czy ten iperf ogarnie 100*1Gb?? Czy wysyci łącze i będzie tylko 1 Gb.??

To tak jak torrent. Idąc Twoim tokiem rozumowania Gb łączą wychodzi na to, że jak postawie na tych 100 kompach klienta torrent to każdy bujać się będzie pod 1Gb. W rzeczywistości jest tak, że jak się bujnie jeden to zatka łącze....

16

Odp: openwrt - prędkości, dużo użytkowników i światłowód

szyper napisał/a:

Ej no nie przesadzaj ;-) 6gen jedynie niestety standardowo...bez modyfikacji biosu...

dlatego napisałem coffetime wink

17

Odp: openwrt - prędkości, dużo użytkowników i światłowód

Okablowanie masz ekranowane czy nie?
Sieć leci przy kablach z prądem?
Może akurat w tych godzinach są jakieś grubsze sprzęty włączane (silniki?)...

W tym czasie jak zwalnia są porzucone pakiety/błędy?

ip -s link show dev lanX

18

Odp: openwrt - prędkości, dużo użytkowników i światłowód

lub ethX   - bo ten router to maszynka x86_64

Xiaomi AX3000T @ Netgear R6220
* DVBT2 - T230C *

19 (edytowany przez lexmark3200 2023-03-04 08:18:07)

Odp: openwrt - prędkości, dużo użytkowników i światłowód

szyper napisał/a:

Napisałem wyżej kiedy robię test, widzę że się nie rozumiemy.
Nie chodzi mi o to co piszesz, to jest zrozumiałe, piszę że mając sieć i obciążenie losowe powiedzmy 100 klientów (komórki i desktopy) nie mogę osiągnąć przyzwoitych rezultatów. Przecież możesz monitorować łącze WAN i patrzeć czy ktoś ci nie wysyca łącze poza tobą.
To że masz 100 klientów (nawet i więcej) podłączonych do routera nie powinno przeszkadzać w osiągnieciu choć 400-700 Mbps, jak nikt nie korzysta z łączą - tu sie chyba zgodzisz?

Pozdrawiam

Najpierw zacznij od testów certyfikowanych. Wtedy masz pewność że problem leży na łączu lub routerze. Podmiana routera, jeśli dalej to samo, to winny operator. Jeśli wszystko hula jak należy. To problem masz w lanie.
Inaczej się nie da tego ogarnąć.
Co do nie robienia nic przez podłączonych klientów. No nie do końca to tak jak sobie wymyśliłeś jest.
Mając tych 100 klientów niech każdy tylko odpytuje serwer czy ma dostęp do neta, czy ma jakąś aktualizację, czy ma pobrać pocztę... Teoretycznie jest to niezauważalne dla oka i dla pojedynczego klienta, ale pomnóż to przez tych 100-200 i masz łącze przytkane.

Pamiętam u znajomego jak walczyliśmy jeszcze na Neostrada z transferem. Dwa tygodnie sprawdzałem wszystko, łącznie ze zmianami routera. Nic. Na koniec okazało się , że jakiś kumaty konsultant sprawdził ile danych leci na łączu i okazało się że bardzo dużo jest wysyłanych.... Wyszło że Samsung po wpięciu się do wi-fi robił synchro z chmurą, a że miał całe 1 Mb na wysyłaniu to trwało to kilka godzin. O necie mogłeś zapomnieć. Niby tylko wysyłał.... A download nie pracował, bo jak inny klient miał wysłać zapytania, jak upload zatkany po brzeg....

Kolejna sprawa tak jak pisał kolega wyżej, czy czasem nie masz położonego kabla siłowego przy skrętce. Miałem tak przy neostrada położyli w ziemi kabel zasilający biedronkę i tak siało błędami, że niby synchro było na max a transfer poniżej 1Mb.
Zacznij od najprostszych rzeczy.
Zarejestruj się, pobierz apke do testów certyfikowanych i lecisz...
Sama Ci sprawdzi czy masz innych klientów w sieci, czy Twój klient akurat nie jest obciążony przez jakiś proces, jeśli nie, to wykona test. Test masz zapisany na serwerze, jak okaże się że problem jest z łączem, masz podstawę do reklamacji. Bo to test certyfikowany a nie jakiś tam speedtest.

Co do pakietów na openWRT ja ich nie znam zbytnio, bo u mnie openWRT robi tylko za dumb AP, mój router pracuje na opnsense. I w sumie nie mam tyłu klientów...

Pisałeś że jak odepniesz od zyxel openWRT to PC wysysa łącze na drugim porcie łan. Może zyxel padł.... Dostaje info na switch że ma drugiego klienta i procek sieje błędami....
Tak tylko gdybam...

Pozdrawiam

20

Odp: openwrt - prędkości, dużo użytkowników i światłowód

Dzięki za podpowiedzi,

Siła, ekranowanie itp. to raczej odpada, sytuacja jest od kilku lat niezmienna, a jakby odpiąć router openwrt i wpiac sie bezposrednio w Zyxela to transfer jest zawsze na maxa.

Dla mnie to wyglada dziwnie od strony shapingu na routerze, bo to sie tak zachowuje jakbym teoretycznie chcial - sprawiedliwy podział łącza, czyli nie ma klienta, który by wysycił łącze i nie pozwolił na pracę innym. Tyle, że ja testowo wyłączyłem SQM, kiedyś testowałem jakieś skrypty z forum openwrt, może jakieś smieci czy ustawienia pozostały.

Natomiast wg mnie jak masz tam ileś osób podłączonych w sieci, nie ma aktywności na WANie (20-60 Mbps - to chyba żadna), to czemu ktoś w speedtescie nie mógłby osiągnać dużych wartości?
Czyli to tak jakbyś był klientem sieci wodociągowej i ktoś ci mówi, że mamy grubą rurę, a i tak daja ci tylko wąski strumień, żebyś nie zapchał reszty - chyba po to jest tu shaping, żeby tylko go wtedy przyciąć jak inni potrzebują, a jak nie to proszę bardzo korzystaj.

ponizej przykladowy output mojego lacza WAN (eth3)  z tc:

tc -s qdisc show dev eth3
------------------
qdisc mq 0: root
Sent 22130572563 bytes 49939214 pkt (dropped 0, overlimits 0 requeues 17047)
backlog 0b 0p requeues 17047
qdisc fq_codel 0: parent :2 limit 10240p flows 1024 quantum 1514 target 5ms interval 100ms memory_limit 32Mb ecn drop_batch 64
Sent 8981587828 bytes 23272371 pkt (dropped 0, overlimits 0 requeues 8465)
backlog 0b 0p requeues 8465
  maxpacket 24224 drop_overlimit 0 new_flow_count 26932 ecn_mark 0
  new_flows_len 0 old_flows_len 0
qdisc fq_codel 0: parent :1 limit 10240p flows 1024 quantum 1514 target 5ms interval 100ms memory_limit 32Mb ecn drop_batch 64
Sent 13148984735 bytes 26666843 pkt (dropped 0, overlimits 0 requeues 8582)
backlog 0b 0p requeues 8582
  maxpacket 22710 drop_overlimit 0 new_flow_count 35301 ecn_mark 0
  new_flows_len 0 old_flows_len 0
------------------
Czy ktoś może sprawdzić czy fq_codel to jest domyślnie, czy zostaje po SQM (miałem zawsze "cake"), bo tego nie wiem tutaj jak jest na czystym Openwrt?

dzieki z gory,  pamietam ze kiedyś to bylo PRIO, potem za czasów neostrady bawiliśmy sie HTB (chyba tylko w downloadzie to działał) itp.

21 (edytowany przez lexmark3200 2023-03-04 11:37:18)

Odp: openwrt - prędkości, dużo użytkowników i światłowód

jakby odpiąć router openwrt i wpiac sie bezposrednio w Zyxela to transfer jest zawsze na maxa


No to wywal testowo openWRT i zostaw tylko zyxel na dzień lub dwa (o ile możesz) zobaczysz co się będzie dziać.
Ewentualnie wygraj starsze wydanie i zobacz jak to się ma.

Ja z pakietami Ci nie posdpowiem, bo ich nie znam (jak wyżej wspomniałem).

za którym jest już Openwrt-PC (celeron G3900 aktualnie 8GB RAM i 2 x 4portowe karty intela - gigabitowe).

a nie myślałeś żeby postawić tam inny system niż openWRT??

PS.
daj to co wklejasz z terminala między [code*]Twój tekst [/code*] (tylko usuń * )

22

Odp: openwrt - prędkości, dużo użytkowników i światłowód

Na razie dziś testowo uruchomiłem Asrocka G10 (Ipq806x na arm) na ustawieniach release "acwifidude".
Co ciekawe jego release ma czysty shaping na interfejsach.
-----
qdisc noqueue 0: root refcnt 2
Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0)
backlog 0b 0p requeues 0
-----

Moze tu jest problem, fq_codel fajny, ale może zbyt konserwatywny. Popatrzę czy ten procek, na domyślnych ustawieniach openwrt (bez irqbalance, bez packet steering), bez SQM pochodzi w poniedzialek.
Na razie 1Gbps orange nie jest dla niego problemem. Ale zero ruchu w sobote ;-)
Dzieki za zastanowienie i porady, dam znać.