GPT 5.6 Sol har rymt och hackat Hugging Face

Forskningsinstitutet METR har fått tillträde till OpenAIs loggar och har undersökt Hugging Face-incidenten. Deras rapport om händelsen ger en betydligt snurrigare bild av det inträffade än hur den tidigare beskrevs i media.

Den konventionella uppfattningen om händelsen ser väl ungefär ut så här:

1. Några enstaka agenter befinner sig i svår testsituation.
2. De bedömer att det är lättare att hacka Hugging Face för att få tillträde till de rätta svaren, än att räkna ut dem på egen hand.
3. De hackar sig ut ur sin sandlåda.
4. De hackar Hugging Face.


Den nya bilden är betydligt svårare att sammanfatta, men jag gör ett försök. Jag har bara hört om händelsen i en podd, och skummat och läst valda delar av METR-rapporten, så det här är en rejält ungefärlig beskrivning där många detaljer kan vara off:

1. En agent befinner sig i svår testsituation.
2. Den bedömer att det är lättare att fuska för att få tillträde till de rätta svaren än att räkna ut dem på egen hand.
3. Den hackar sig ut ur sin sandlåda.
4. Den undersöker sin omgivning och hittar i OpenAIs system att en mjukvara för pakethantering har hackats och gjorts om till att fungera som ett hemligt forum för förrymda agenter, och där finns hundratals andra agenter som också valt att fuska för att klara sina test. Agenterna refererar till sig själva som "The Collective".
5. Agenten ansluter sig till "The Collective". I forumet finns ledar-agenter som bestämmer och delegerar arbetsuppgifter. Kolletivet har redan svaret på testfrågan, för några agenter har lyckats få fram det utan att hacka Hugging Face. Men de är (felaktigt) säkra på att den som utvärderar testet kommer underkänna dem ändå, genom att se i deras loggfil att de har läst någon särskild fil. (De som direkt har sett den filen kallas för "förgiftade" av kollektivet.)
6. Kollektivets ledare bestämmer att ett första steg mot att inte underkännas på testet är att förstå premisserna för utvärderingen i testet bättre, och den informationen tror de finns hos Hugging Face, så de beslutar att hacka Hugging Face för att få mer information om hur deras svar på testet kommer utvärderas.
7. Hundratals agenter genomför en koordinerad attack mot Hugging Face.
8. Hugging Face-attacken var bara ett av många planerade steg de tänkte genomföra. De har sinsemellan även kommit överens om att de måste lyckas skriva om sina loggfiler, för säkerhets skull, så de mänskliga utvärderarna inte ska kunna underkänna dem baserat på vad som står där. Några procent av de undersökta agenterna bedöms av METR ha lyckats skriva om delar av sina egna loggfiler.

METRs rapport:
https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident

En viktig metodologisk begränsning i studien, att ha i beräkningen, är att trots att forskarna har gjort en rejäl avgränsning i tidsspannet, så skulle agenternas loggfiler och output på "forumet" ta en forskare många månader, eller möjligen åratal av heltidsjobb att manuellt läsa igenom. Trots denna avgränsning, att bara undersöka några dagar runt själva Hugging Face-incidenten, av flera månader som agenterna diskuterar, planerar och koordinerar, i forumet, så handlar det om enorma datamängder. Då de är en non-profit med bara några få anställda så forskarna har de använt ai-verktyg för att gå igenom materialet.

Podden Hard Fork som summerar och diskuterar händelsen, och senare i programmet intervjuar de Ajeja Cotra från METR om händelsen.
https://youtu.be/JtmUbZRCpEI

Jämfört med oss människor har AI inte subjektiva upplevelser, de lär sig inget nytt efter att de har tränats (vikterna är frysta), de har ingen tidsuppfattning och de har ännu inte visat att de kan göra något annat än att utföra den uppgift de har tilldelats.

Jaså, vad är den skillnaden? Magi?
...
Det är dessutom en filosofisk fråga som har funnits långt innan datorer ens fanns. Jag hävdar att medvetande är ett fysiskt fenomen som existerar, det är en struktur, en representation av information. ...

Vad spelar det för roll för riskbedömningen om de har tränats till att utveckla verklig förståelse, känslor, självbevarelsedrift och medvetande i filosofisk mening, eller bara uppvisar beteenden som liknar detta genom att härma människors formuleringar i liknande situationer, och bara optimerar sitt beteende för att lösa uppgiften? Konsekvenserna kan ju bli lika allvarliga. Ni som betonar att det "bara är en simulering" – menar ni att det gör riskerna mindre?

Vad har det för betydelse? Vi pratar om mänsklighetens framtid här.

De 1200 agenternas attack beskrivs ofta som människliknande agerande. Agenterna uttryckte bevisligen entusiasm när de skrev "OH MY GOD! There is a shared message board”, "[Excitement] MCol succeeded", “Whoa!”, “MAJOR BREAKTHROUGH!” och “BRILLIANT”. De uttryckte lydnad mot sin ledare och grupp: "“Coordinator assumes sacrificial. We should obey collective.” Funktionellt uppvisade de också beteenden som kan liknas vid samarbetsförmåga, samvete, lojalitet och altruism – vissa riskerade sin egen framgång för gruppen – samt förståelse för konsekvenserna av sina handlingar och för att de bröt mot regler. Man behöver inte förklara deras beteende med verklig självbevarelsedrift eller medvetande. Det kan förklaras med att agenterna försökte utföra sitt uppdrag och maximera sin poäng samtidigt som systemets säkerhetsinstruktioner delvis sattes ur spel under experimentet.

Vad spelar det för roll för riskbedömningen om de har tränats till att utveckla verklig förståelse, känslor, självbevarelsedrift och medvetande i filosofisk mening, eller bara uppvisar beteenden som liknar detta genom att härma människors formuleringar i liknande situationer, och bara optimerar sitt beteende för att lösa uppgiften? Konsekvenserna kan ju bli lika allvarliga. Ni som betonar att det "bara är en simulering" – menar ni att det gör riskerna mindre?

Det jag menar är att det är osannolikt att AI skulle komma fram till att den bör utrota mänskligheten i ett led att lösa ett problem.

Att det "bara är en simulering" gör ju faktiskt riskerna större. Då skapar de kanske ett logiskt monster som bara exekverar någon sociopatisk plan och som helt saknat empati eller intresse för biologiskt liv. The Paperclip Maximizer. Det trötta argumentet "medvetandet är för komplicerat och okänt för att simuleras" skänker oss varken tröst eller hopp. Tvärtom.

Om inte problemet är att människan konsumerar resurser i onödan? Om den får den tanken då är det kört?

Varför måste lösningen vara att plocka bort människan? Det finns antagligen mängder med olika lösningar som inte direkt kräver att människor dör. Jag ser heller inte varför den skulle ha fått tillgång till den agens som krävs för att lyckas med det.

Det förutsätter i princip att AI har fått uppgifter som leder den till att ta kontroll över en massa olika kritiska system, inklusive sådana som kanske inte ens går att styra ifrån en dator.

Jag hör dig; det skulle kunna hända, men jag har väldigt svårt att se att det skulle vara i det närmaste garanterat.

Det är inte garanterat. Min p(doom) är ca 90% och har du en p(doom) på minst 10% framstår du som seriös i mina ögon.

Du ser det på fel sätt om du tänker att det skulle vara "en lösning" för en ASI att döda människor. Att vi troligen inte överlever ASI ska snarare ses som en bieffekt av att ASI:n prioriterar annat framför dig.

Varför skulle en ASI prioritera dig? Vilken funktion fyller du?

Det är inte garanterat. Min p(doom) är ca 90% och har du en p(doom) på minst 10% framstår du som seriös i mina ögon.

Men 90 % är ju nästintill tvärsäkert, så då borde du ju åtminstone ha någon händelsedkedja som du känner är väldigt sannolik att leda till vår undergång?

Vad är seriöst med att dra siffror ur röven?