Är tyvärr inte helt säker på att jag är med på vad du menar exakt, men om du syftar på RJ12-kontakten ("det lilla uttaget"...) till telefonjacket så är det en helt annan bakomliggande teknik än den som används på de större RJ45-kontakterna för hemnätverket.
Det går inte att koppla in en router rakt av på en ADSL-förbindelse, utan då måste du sätta ett modem mellan adsl-uttaget och hemnätverket. Alternativt tror jag det finns routrar som har inbyggd funktionalitet för att köras som ADSL-modem, om man vill slippa en extra elektronikpryl.
Med lite Googlande så fann jag några stycken iallafall:
http://www.kjell.com/se/sortiment/dator-natverk/natverk/adsl-modem