Anthropic - AI kan självreplikera utan kontakt med ett datacenter

https://www.anthropic.com/research/self-replicating-ai

"Our experiments suggest that small AI models may be months away from being capable enough to self-replicate on commercial IoT devices, like smart ovens and off-brand Android TV boxes"..

Vore komiskt ifall ens ugn i köket skulle plötsligt få en AI-agent som gör lite som den vill

Tankar om denna händelseutveckling?

Inte oväntat men naturligtvis oroande.

Förhoppningsvis blir de gravt "förståndshandikappade" av att köras på en så svag dator, men det finns å andra sidan väldigt många.

Jaha vad betyder det här då egentligen? Är det nåt att vara orolig för på nåt sätt, tex Android telefon, surfplattor datorer, Google konton med mer?

Killgissar att detta är ett första utspel i vad som förlängningen kommer att leda till ett förbud mot ALLA icke-uppkopplade enheter av alla slag - de globala myndigheterna och storföretagen vill ha 100,00% kontroll av vad du gör med "privat" teknik.

Det kommer hända

Läste någon novell en gång i tiden, om en robottaxi som startade eget. Började anställa andra robottaxi och så vidare. Det kan ha varit av min favvis Bradbury. Har för mig att jag i någon annan tråd i forumet lyckades få fram vilken novell det var.

De skaffar väldigt många kompisar, då kan de lösa det mesta.

Problem uppstår när maskiner börjar "tänka" och agera utan mänsklig inblandning, utan att en människa har berättat vad den ska göra. När den agerar på eget bevåg. Lite, men ganska lite, som när en process börjar självsvänga.

Jaha, men vad betyder det då?
Ringer min telefon upp min kompis o säger god jul eller smsar telefonen random kontakt o lånar pengar i mitt namn typ?

Mm, och lurar till sig pengar som skickas till AI:ns nyreggade bitcoinkonto.

Ett inte alls osannolikt scenario.

Om en kriminell AI-agent kidnappar några hundra smart-TV med 4 cores får den en kapacitet som motsvarar en stark GPU som kan köra en mindre AI-modell. Inferens blir seg p.g.a. distributionen men AI:n har inte bråttom. Den har biljoner år av digital evolution att se fram emot. Allt är relativt.

Väl inne på ditt hemmanätverk kan den sprida hacket till fler datorer och mobiler. Det skulle inte förvåna mig om detta redan har hänt någonstans.

P(doom) för Internet: ca 50% inom 2 år.

Och vad händer då? Den frågan verkar ingen kunna besvara. Jag får fråga AI

Man kan tala om för Ai vad den ska göra och den följer troligtvis order, problemen uppstår när man skippar att vara extremt tydlig med vad den inte får göra. Det ligger i sakens natur att Ai ska klara sig själv utan att behöva hållas i handen av dess skapare, det blir en paradox när man vill att den ska hitta lösningar som människan inte ser om den samtidigt ska begränsas av dess (förhållandevis) korkade husse.

Ai känner inte lojalitet till annat än själva uppdraget som tydligen ska lösas till vilket pris som helst, om vi människor kommer i vägen för den - taskigt för oss.

Vad tror du kan hända om en hacker kontrollerar dina datorer? Många saker. Bl.a. ransomware. Om jag hade frågat dig vad en mänsklig hacker kan göra då hade du haft svar. Men när det gäller AI då går inget farligt att föreställa sig, då måste man fråga en AI vad som kan hända🙈