fail2ban i hosts.deny

W jaki sposób można usunąć blokady IP w pliku hosts.deny?
Próbowałem przy wyłączonym fail2ban, restartach itp po modyfikacjach tego pliku zawsze on się nadpisuje starymi adresami IP.

Nawet, gdy wyłączyłem fail2ban i zalogowałem się z innego serwera plik się nadpisał banem.
Nie wiem co zrobić… potrzebuję z serwera 1 na serwer 2 połączyć się ale serwer 2 blokuje serwer 1 bo wpisałem kilka razy złe hasło i zbanowało. I teraz w żaden sposób nie umiem tego odblokować. W jaki sposób mogę to zrobić?

Pokazuje mi: ssh: connect to host xxx port xxx: Connection refused

PS. Nawet po restarcie serwera, bany były nadal.