No właśnie tak jest, zaprzeczasz sam sobie.
Trochę mało napisałeś, ale obstawiam błędną konfiguracje jednego routera.
Rozumiem, że na obu routerach robisz przekierowanie portów na wybrany interfejs serwera i łącząc się na publiczne IP routerów raz dostajesz się do routera a raz nie ?

Ale bramą domyślną jest jeden z ruterów, i to przez niego łączysz się z powodzeniem? Przez drugi ruter nie będzie działać, bo pakiet w prawdzie dociera do serwera, ale odpowiedź "wychodzi" bramą domyślną, czyli przez pierwszy ruter, więc ma inny adres źródłowy - po dojściu do celu ginie, bo z takim adresem nie było nawiązywane żadne połączenie - ruter odrzuca go.