Loadbalancing/failover - zarządzanie wieloma łączami

Ostatnia zmiana: 2021-08-31 19:15

Wielu użytkowników posiada dołączonych kilka łącz internetowych do swoich routerów i chce zapewnić ich wykorzystanie lub chce zapewnić ciągły dostęp do internetu w przypadku awarii jednego z nich. W takich przypadkach z pomocą przyjdzie pakiet o nazwie mwan3.
Działanie mwan3 opiera się na monitorowaniu dostępności łącz przez sprawdzenie dostępności określonych celów (zwykle przez pingowanie). W domyślnej konfiguracji są to dnsy google i opendns; jeżeli zostanie wykryty brak pingów następuje przełączenie routingu na inne łącza według reguł zdefiniowanych w konfiguracji. Mwan3 potrafi zapewnić przełączenie ruchu na inne łącza w przypadku zaniku jednego z nich lub rozłożenie ruchu na kilka dostępnych, ale nie spowoduje sumowania przepustowości łącz dla komputera który pobiera coś w jednym wątku.

Dołączone łącza mogą być dowolnego typu: ethernetowe, modem adsl, dwa modemy komórkowy na USB czy łącza radiowe. Mwan3 wymaga utrzymania aktywności wszystkich połączeń, więc wymaga aby np. wspomniany modem był na stałe włączony i podłączony do sieci.

Poniższa konfiguracja prezentuje wykorzystanie dwóch łączy, choć oczywiście analogicznie można zestawić ich kilka jednocześnie. W przykładzie wykorzystano OpenWrt 19.07 oraz 21.02 na routerze z połączeniem kablowym (pierwsze połączenie z internetem oznaczone jako wan) oraz modemem Huawei E3372s-153 HiLink (drugie połączenie z internetem oznaczone jako wanb).

Konfiguracja łączy

Oba łącza muszą być zestawione i musi istnieć przez nie połączenie do internetu; dla ułatwienia nazwiemy je wan oraz wanb. Oba łącza muszą mieć ustawione inne metryki.

Typy połączeń nie mają większego znaczenia ale we własnym zakresie trzeba zatroszczyć się o ich prawidłową konfigurację. Mwan3 zarządza routingiem, nie uruchamia/nie wznawia połączeń, to nie jest jego zadanie. Na użytkowniku spoczywa więc całość procesu utrzymania aktywności łącz. Wszystkie połączenia muszą być aktywne (podniesione); mwan3 samodzielnie nie podnosi połączeń.

Interfejs wan

W tym przykładzie został wykorzystany port WAN routera do którego zostało doprowadzone łącze kablowe. Do domyślnej konfiguracji wystarczy dodać opcję metric:

Interfejs wanb

Jako drugie połączenie został wykorzystany modem dołączony do portu USB. Ponieważ był to HiLink (pracujący jako karta sieciowa), jego konfiguracja sprowadza się do instalacji odpowiednich sterowników i tak samo ustawienia opcji metric:

Dla OpenWrt w wersji 21.02-rc2 lub późniejszych i wersji rozwojowych należy inaczej ustawić interfejs:

Tworzona jest tu sekcja wanb na interfejsie eth1 (nazwa interfejsu zależy od modelu routera - należy to sprawdzić), dostała ona unikalną wartość metric.
Nie wolno zapominać o odpowiednim uzupełnieniu firewalla. Ponieważ wanb ma być to traktowany jak zwykły wan to po prostu wystarczy dodać go do sekcji wan firewalla:

(domyślnie strefa "@zone[1]" firewalla odnosi się do sekcji wan - jeżeli konfiguracja firewalla została zmieniona to należy dostosować polecenie)

Jeżeli mamy więcej interfejsów należy analogicznie zrobić podobną konfigurację dla nich wszystkich. Należy pamiętać że OpenWrt sam z siebie wykorzystuje nazwy wan_4, wan_6 i wan6 do własnych celów, więc należy posłużyć się innymi.

Po wykonaniu czynności konfiguracyjnych trzeba wykonać restart routera:

Sprawdzenie połączeń

Po ustawieniu wanów należy sprawdzić czy mamy dostęp do internetu przez tak ustawione połączenia. Posługujemy się poleceniem ping ze wskazaniem konkretnego, fizycznego interfejsu:


W tym przykładzie eth0.2 i eth1 to wspomniane interfejsy, można je znaleźć wykonując polecenia ifstatus wan; ifstatus wanb (interfejsy odszukujemy w l3_device).
Jeżeli pingi działają można przejść do dalszej konfiguracji. Jeżeli nie - należy ponownie sprawdzić wany, bez tego dalsza konfiguracja jest pozbawiona sensu.

Instalacja

Po prostu trzeba zainstalować odpowiedni pakiet

Jeżeli mamy środowisko graficzne LuCI to dostępna jest także odpowiednia aplikacja do niego:

Choć oczywiście do dalszej konfiguracji nie jest ona niezbędna.

Konfiguracja

Konfiguracja zawarta jest w pliku /etc/config/mwan3 i zawiera już kilka niezbędnych elementów dla obu łączy:

• definicje interfejsów (config interface): zawiera informacje o włączeniu interfejsu, listę celów ping, ilość pingów i timeouty sprawdzania łącza, domyślnie dla wan i wanb (ipv4) oraz wan6 i wanb6 (ipv6)

• definicje ważności łączy (config member): zawiera informacje o "wagach" łączy, o czym będzie za chwilę

• definicje polityk (config policy): zawiera informacje o kombinacjach wykorzystania łączy

• definicje reguł (config rule) które definiują zasady wykorzystania polityk przez określony ruch. Musi zawierać co najmniej jedną polityką domyślną która będzie umieszczona na końcu wszystkich reguł

Jeżeli mamy tylko dwa łącza to cała konfiguracja sprowadza się do włączenia ich w konfiguracji mwan3:

Wykonujemy restart urządzenia i sprawdzamy status połączeń:

Jeżeli oba interfejsy są aktywne to jest to cała konfiguracja, choć oczywiście można dalej przystosować konfigurację do własnych potrzeb. Dla większej ilości łączy należy samodzielnie stworzyć nowe sekcje interface, member i policy. Nazwy reguł i polityk mają ograniczoną długość (do 15 znaków), więc należy unikać opisowych oznaczeń.

Wan6 i wanb6 są domyślnie wyłączone, dlatego pokazują się jako offline.

Jak sprawdzić działanie? Wchodzimy np. na adres http://twojeip.wp.pl/, sprawdzamy jaki mamy adres IP a potem odłączamy kabel od wanu i czekamy parę sekund - po odświeżeniu w przeglądarce powinien być adres z drugiego łącza. Można tak samo posłużyć się pingami. Należy pamiętać że mwan3 nie utrzymuje połączenia w ramach tej samej sesji, co może oznaczać ze po prostu trzeba przerwać pingi i ponownie uruchomić polecenie żeby zobaczyć fakt przełączenia na drugie łącze.

Uzupełnienie konfiguracji

Serwery DNS

Konieczne jest wymuszenie adresów dnsów na wanach na inne, niezależne od naszych dostawców internetu. Wystarczy ustawić np. na serwery google:

Lub inne, ważne żeby były osiągalne z dowolnego łącza które mamy.

Loadbalancing i failover

Pod tymi pojęciami kryją się dwa sposoby działania mwan3: odpowiednio - rozłożenie ruchu na aktywne łącza i przełączanie ruchu na inne łącza w przypadku zaniku jednego z nich. Mwan3 realizuje oba zagadnienia jednocześnie, choć można to oczywiście zmienić po swojemu. W domyślnej konfiguracji podział łącza wygląda następująco (przy używaniu domyślnej polityki balanced):


Mamy podział wan/wanb w stosunku 60:40 i taki podział wykorzystania pasma będzie mwan3 starał się utrzymać. Można to zmienić przez modyfikację opcji weight w sekcjach member konfiguracji. Zdefiniowana domyślna reguła (default_rule_v4) korzysta z polityki balanced. Polityka ta używa m.in. dwóch definicji (member) o nazwach wan_m1_w3 i wanb_m1_w2. Zmieniając w nich opcję weight można więc odpowiednio tym sterować, np:

• ustawienie łączy 50:50 (oba łącza będą wykorzystywane po równo)

• ustawienie łączy 99:1 (łącze wan jest "lepsze" i ono będzie w dużej mierze wykorzystywane - coś w rodzaju failover)

Domyślnie konfiguracja określa pięć polityk:

• balanced: loadbalancer, wan i wanb wykorzystywane są na podstawie zdefiniowanych metryk

• wan_only: pozwala na korzystanie tylko z łącza wan

• wan_wanb: failover, podstawowym łączem jest wan, jeżeli nie ma połączenia następuje przełączenie na wanb

• wanb_only: pozwala na korzystanie tylko z łącza wanb

• wanb_wan: failover, podstawowym łączem jest wanb, jeżeli nie ma połączenia następuje przełączenie na wan

Domyślną polityką jest balanced; zmieniając politykę w regule default_rule_v4 można sterować zachowaniem przełączenia ruchu. Chcąc uzyskać więc np. failover zamiast omówionego wcześniej loadbalancera można wykonać:

Głównym łączem będzie wan, po wykryciu awarii łącza nastąpi przełączenie ruchu na wanb. Jeżeli pojawią się ponownie odpowiedzi na pingi na łączu wan nastąpi automatycznie przełączenie na pierwsze łącze.

Wymuszenie ruchu przez określone łącze

Domyślna konfiguracja zawiera przykłady wymuszenia dla ruchu https z wykorzystaniem polityki balanced. Można dodać dowolną ilość własnych reguł; jako przykład podano wymuszenie całego ruchu z komputera o adresie 192.168.1.100 przez łącze wanb:

Dodajemy regułę aby komputer o adresie 192.168.1.100 korzystał z polityki wanb_only w której zdefiniowane jest wykorzystanie tylko łącza wanb jako źródła internetu. Powyższa reguła powinna być przed regułą domyślną, czyli w konfiguracji trzeba przenieść sekcję default_rule_v4 na sam koniec pliku /etc/config/mwan3 żeby wyglądało to tak:

Po dodaniu oczywiście oczywiście wykonujemy restart mwan3. Aktywne reguły pokazuje polecenie mwan3 rules:

Upewniamy się że domyślna reguła jest na samym końcu.

Kolejny przykład - kierujemy ruch na określoną witrynę (w tym przypadku: speedtest.net) przez łącze wanb. Dodajemy kolejną regułę w pliku /etc/config/mwan3 przed default_rule_v4:

Następnie dodajemy do firewalla (/etc/config/firewall) odpowiednią sekcję ipset

oraz instalujemy pełną wersję dnsmasq z wsparciem dla ipset i konfigurujemy go odpowiednio:

Jeżeli korzystamy z nazw domenowych to musimy pamiętać o konieczności restartu komputera lub wyczyszczenia cache dns w przypadku Windowsa.

Szeroki opis możliwości konfiguracyjnych mwan3 dostępny jest na wiki openwrt, tam też można znaleźć opis parametrów konfiguracyjnych reguł.