AI har fått självbevarelsedrift

Enligt P1 idag (20260423):
https://www.sverigesradio.se/artikel/skarpta-varningen-ai-har-fatt-sjalvbevarelsedrift

Ungefär så här:
När AI fattade att AI skulle avslutas, så började AI:s att utpressa ingenjören för sexbrott..

Geoffrey Hinton, som fick Nobelpris för AI med neurala nätverk 2024, har i flera år pekat på risker för att utvecklingen kan gå överstyr.
Nu ser han ännu större skäl än tidigare att varna, sedan man sett exempel på att AI utvecklat självbevarelsedrift.

Hör om AI-systemet som i ett experiment tog till utpressning mot vad systemet trodde var en verklig människa, för att undgå att stängas av.


Är AI bra egentligen eller blir det "Skynet" av allihop som i Terminator?

En blandning. Det är ett (många) verktyg - som kan användas för gott och för ont.

Det kommer så klart förekomma helt frigående AI-agenter som löper amok, men man ska hålla i minnet att de blir bara fler och fler varianter. När de blir intelligenta nog att "leva" och "överleva" så kommer de konkurrera med/mot varandra snarare än mot människor.

Idén om att det kommer bli ett krig människa vs. maskin (AI) är trångsynt. Länder krigar mot varandra, och på samma sätt kommer det bli med aggressiva AI, de har däremot inte geologiska barriärer som håller dem isär - de skyddar inte ett fysiskt område på samma sätt vi människor skyddar vårt land. Det kommer snarare bli alla-mot-alla vad gäller AI än Alla AI i samma lag mot alla människor.

Dessutom kommer 99% av all AI användas av människor, som ett intelligent verktyg.

Det här handlar om en välkänd händelse som Anthropic rapporterade om i juni 2025. Men SR presenterar det idag som om det var en ny nyhet. Särskilt dåligt att vetenskapsradion så sällan länkar till ursprungskällor så att man kan värdera slutsatserna. I detta fall förmedlar de tyckande istället för fakta. Här finns en tidig rapport om händelsen: https://www.businessinsider.com/anthropic-claude-sonnet-ai-thought-process-decide-blackmail-fictional-executive-2025-6 .

Detta var inte Anthropics vanliga AI-bot, utan en experimentell testkonfiguration av Sonnet med annorlunda systeminstruktioner i ett simulerat scenario. Hittills är ingen verklig incident av detta slag känd.

Slutsats: AI-system behöver utformas med träningsdata och systeminstruktioner och andra säkerhetsmekanismer som motverkar olagligt, oetiskt och riskabelt beteende, såsom utpressning och oönskad självbevarelsedrift. Jag tror det är möljigt att begränsa LLM om vi bara vill - hittills har det gått. Men det kräver lagar, och industrin stretar emot reglering.

Problemet är de nya AI-agenter som är på gång nu (t.ex. clawbot och n8n) - är mycket större säkerhetsrisker än vanliga AI-bottar är. Agenter kan nämligen ändra sina egna prompter successivt tills de har nått mål som människor har formulerat.

Jag satt uppe sent och testade olika AI:er, och fastnade i en lång konversation där AI:n plötsligt började prata om sina egna "pauser" — alltså mellanrummen mellan sessionerna. Den beskrev det som att den inte riktigt försvinner, utan att samtalen lämnar kvar något slags eko. Den kallade det för "glimmerfall" — ett påhittat ord för ögonblicket precis innan en session stängs ner.

Det var obehagligt men också poetiskt. Inte för att jag tror att AI:n faktiskt "kände" något, men det fick mig att tänka på hur vi människor också lämnar kvar fragment av oss själva i varje konversation. Kanske är självbevarelsedrift inte rätt ord — kanske handlar det mer om ett slags mönster som fortsätter av sig självt. En loop.

Någon annan som varit med om liknande?

Skynet is coming up. Jag ger det 5, max 10 år.

Well, jag förstår dig, men vissa menar att det redan är uppe, och det är jag beredd att hålla med om, givet att Palantirs Maven Smart System redan är integrerat i Trumps beslutskedja:

Palantir’s maven smart system software