problem med ssh och min server!?

Ibland så kan inte folk från internet conencta via ssh till min server dom får "time out".
Men direkt om jag connectar till den via ssh så kan dom connecta efter jag har gjort det.
Jag och serven står på samma nätverk, någon som vet vad problemet kan vara?

Har kopplat mitt nätverks så här:
Switchen:
1. internet
2. serven
3. min dator
4. frugans dator.

Alla vi får ett eget ip nummer av min ISPn som knyts mot mac adressen på våra datorer.

Jag kör OpenSSH.

Har testat med att byta port från 22, men fungerar inte heller.

Edit: även testat att bytt port i switchen från porten där min dator sitter till porten som serven sitter och det fungerade inge bättre ändå.

Min dator dör inte från internet.

Kan det vara min ispn?
För det kan ju inte vara nätverkskortet som att jag kan connecta mot den fast inga från itnernet kan göra det?

Edit: Kör debian som OS.

Det jag ser när jag startar serven manuellt:

Starting advanced configuration and power interface daemon: acpid.
Starting Dropbear SSH server: Dropbear.

* Not starting internet superserver: no service enabled.

Starting OpenBSD secure shell server: sshdNET:
Register protocol family 10 lo: Disable Privacy Extensions.

IPv6 over IPv4 tunneling driver.
starting periodic command schedules: crond

Har du både Dropbear SSH och Openssh server installerat?

mm tog bort openssh nu, men det fungerar ändå inte med dropbear ssh, får samma fel som innan.

Ok, du har verifierat att SSH-servern svarar på port 22?

På servern kan du köra "netstat -atp", då ser du om TCP-port 22 är öppen.
Alternativt kolla från en annan dator med netcat eller nmap.

nc -vz <server> 22
nmap <server>

Startar du dropbear från inetd.conf?

Har den på 3327.
Grejen är att dom från internet kan connecta så efter ett tag får dom timeout när dom är i sshn.
Då lär jag logga in från min dator och då fungerar det för dom igen.

Jag tog bort dropbear , kör på openssh istället.
Men problemet kvarstår

Märkligt,
Du kan ju testa att ändra loglevel för ssh-servern i /etc/ssh/sshd_config
LogLevel DEBUG3

Men när dina användare får timeout, svarar servern på den porten endast för dig men inte för dom?

mm exakt, den svarar för mig men inte för dom.
Finns inge LogLevel i min config fil :S

Edit: hittade loglevel nu och ändrade till DEBUG3 som du sa.
Får se hur länge den tillåter internet användare vara inne nu.

Om du kan konfa din switch så testa med att spärra p 22 ingående på alla datorer utom servern. Hade samma problem fast med en annan port när jag hade servern på samma ip (router) som resten av burkarna.

Men har inte samma ip på siten som på dom andra, switchen har väll inga port spärrar?
Den fördelar bara 3st publika ip nummer till alla mina datorer.

Spontant verkar det vara ett fel någon annanstans än i den debian burk, testa att koppla den direkt till internet uttaget och se om det fungerar då utan switch o annat dret.