Ech, przeczytaj sobie temat ze zrozumieniem....

Piszesz, że niby ja łapię za słówka a sam to ewidentnie robisz... Zamiast poprawnie napisać "jedna instancja" napisałem "jeden serwer", wow. Jakoś większość (łącznie z Tobą) zrozumiała co miałem na myśli.

Przepraszam za ten offtop, więcej nie zaśmiecam wątku.

Wygląda na to że wszystko zmierza ku końcowi, aktualnie wygląda to tak że część procesu włączania bondingu jest ręczna głównie chodzi o wydanie polecenia

ifenslave bond0 tap0 tap1

Ponieważ to polecenie mogę wydać dopiero jak oba tunele zostaną zestawione co najczęściej trwa około 1 min lub nawet 10 min, ponieważ gdy nie mam internetu na łączu głównym to pierwsze połączenie openvpn tap0 jest niezestawione i bonding nie zostanie uruchomiony.

Potwierdzam że powodem dlaczego wcześniej nie szedł ping na tap1 był źle ustawiony routing @garysek dziękuję za poradę jak można to obejść
zerknąłem później do logów i w przypadku drugiego połączenia zawsze wyskakują takie błędy

Mon Oct 31 21:09:50 2016 /sbin/ifconfig tap5 10.8.0.3 netmask 255.255.255.0 mtu 1500 broadcast 10.8.0.255
Mon Oct 31 21:09:50 2016 /sbin/route add -net X.X.X.X netmask 255.255.255.255 gw 10.8.0.1
route: SIOCADDRT: File exists
Mon Oct 31 21:09:50 2016 ERROR: Linux route add command failed: external program exited with error status: 1
Mon Oct 31 21:09:50 2016 /sbin/route add -net 0.0.0.0 netmask 128.0.0.0 gw 10.8.0.1
route: SIOCADDRT: File exists
Mon Oct 31 21:09:50 2016 ERROR: Linux route add command failed: external program exited with error status: 1
Mon Oct 31 21:09:50 2016 /sbin/route add -net 128.0.0.0 netmask 128.0.0.0 gw 10.8.0.1
route: SIOCADDRT: File exists
Mon Oct 31 21:09:50 2016 ERROR: Linux route add command failed: external program exited with error status: 1
Mon Oct 31 21:09:50 2016 Initialization Sequence Completed

Czy można byłoby poprawić routing w inny automatyczny sposób, metoda którą zaproponował garysek jest dobra jednak nie jest to "moim" zdaniem rozwiązanie problemu tylko jego obejście.

Docelowo chciałbym aby działało to w ten sposób:
1: Włączam router
2. Są zestawiane tunele tap0 na łączu główny oraz tap1 na łączu komórkowym ( to udało mi się osiągnąć, z drobnym zastrzeżeniem odnośnie routingu przy drugim połączeniu)
3. Jest tworzony bonding z dwóch tuneli tap0 oraz tap1 (to działa prawidłowo)
4. Pada łącze tap0 bonding przełącza się na tap1 (działa prawidłowo)
5. Łącze tap0 zaczyna działać i tutaj powinno nastąpić przełączenie bondingu na tap0, jendak tak się nie dzieje.

1. Włączam router
2. Jedno z łącz nie działa np główne (zostaje utworzony jeden tunel tap1)
3. Bonding działa
4. Gdy drugie łącze zacznie działać to tunel jest zestawiony, jednak nie zostaje przyłączony do bond0, trzeba to zrobić ręcznie lub zrobić reboot routera

Czy ktoś z was wie jak rozwiązać te problemy?

Dziękuję za radę odnośnie podsieci - zdało to egzamin.

Postanowiłem przetestować wszystko dokładnie i okazało się że prawdopodobnie mwan3 działa nieprawidłowo.

Ustawiłem aby ip X.X.X.X i port 11194 szedł przez łącze eth0.2, natomiast port 11195 szedł przez łącze eth1, jednak tak się nie dzieje. Podejrzewam że dzieje się to przez

log openVPN
Wed Nov  2 19:07:13 2016 /sbin/route add -net X.X.X.X netmask 255.255.255.255 gw 192.168.8.1

Czy można jakoś zrobić aby port 11194 szedł przez łącze eth0.2 natomiast port 11195 przez łącze eth1
Z tego co wnioskuję to openvpn dodaje regułkę aby ip X.X.X.X szedł przez łącze eth1 (192.168.8.1), przez co regułka mwan3 przestaje działać, jednak nie jestem tego pewny.

Znalazłem rozwiązanie:
Jak połączenie openvpn było uruchamiane przy starcie

/etc/init.d/openvpn enable

to mwan3 nie działał prawidłowo
nie pomagał nawet komenda

/etc/init.d/openvpn restart

Rozwiązaniem okazało się: wyłączenie uruchamiania się openvpn przy starcie

/etc/init.d/openvpn disable

następnie logowałem się na router i wydawałem polecenie

/etc/init.d/openvpn start

Po wydaniu tego polecenia były zestawiane dwa połączenia openvpn do tego samego serwera: jedno na porcie 11194 i łączu normalnym, drugie na porcie 11195 i łączu komórkowym.
Po wydaniu polecenia

/etc/init.d/openvpn restart

Tunele openvpn również był zestawiany na prawidłowych łączach.

Wynika z tego że openvpn należy uruchamiać z opóźnieniem (nie wiem dlaczego: tak wynika z testów które przeprowadziłem:

Teraz pytanie do was:
W jaki sposób mogę opóźnić uruchomienie usługi openvpn np. o 30 sekund.

Edit
Pytanie nieaktualnie
Wystarczy do /etc/rc.local
dopisać

sleep 30; /etc/init.d/openvpn start

@Edit
Sprawa aktualnie wygląda tak: mam dwa tunele openvpn tap0 tap1
Puszczam na routerze ping na wp przez interfejs bond0
Wszystko jest ok
wpisuje

ifconfig tap0 down
tfconfig tap0 up
ifconfig tap1 down
tfconfig tap1 up

Wszystko jest ok nie gubi ani jednego pingu
jak wykonuje polecenie

ifconfig tap0 down

ifconfig tap0

pokazuję że karta jest odłączona

Tutaj wszystko jest ok,
Jednak gdy odłączę kabelek fizycznie to zaczynam tracić pingi bond0 cały czas próbuję łączyć się przez interfejs tap0, trzeba poczekać aż tunel openvpn padnie czyli około 1 min.

Wnioskuję z tego że bonding patrzy na to w jakim stanie jest dany interfejs włączony, wyłączony, kabelek podłączony, odłączony a nie na to czy przez dany interfejs działa internet.
Czy da się to jakoś zmienić?
Chodzi o to aby bonding nie monitorował stanu interfejsu tylko to czy przez dany interfejs działa połączenie z internetem np. ping 8.8.8.8 jak ping będzie powyżej 600 ms to przełącz na łącze zapasowe, 20 kolejnych pingów wynosi poniżej 600 ms to przełącz na łącze podstawowe.