GPT 5.6 Sol har rymt och hackat Hugging Face

Helt överens. Det uppfyller inte min definition av medvetande, men Geoffreys, men det är oviktig filosofisk diskussion, med liten praktisk betydelse för AI:s risker och möjligheter. Och avsett om den uppfyller definitionen qv verklig flrståelse så uppvisar den en mätbar förståelse för konsekvebsen avsina handlingar. Inser man inte det så får man svårt att inse konsekvenserna.

Skulle det göra saken bättre att en AI-agent spawnar svärmar av andra kriminella AI-agenter?
Hur vet du vad den ville från början?

Det spelar iofs ingen större roll. Det är ett vanligt förekommande mönster inom dataintrång att prova sig fram ganska brett och utan tydlig målbild om vilken säkerhetsbrist som ska hittas. Det är så alla zeroday-exploits hittas. Att det möjligen var en del av strategin är ingen förmildrande omständighet, snarare tvärtom.

Vi ska nog inte se på medvetande så binärt, som närvarande eller inte närvarande med mänskligt medvetande som en mall. Vi vet från forskningen på djur att det finns olika grader av medvetande. Man kan numera också tänka sig någon form av artificiellt medvetande. Man kan också tänka sig att människans medvetande är begränsat och att en AI:s medvetande på många sätt skulle kunna bli rikare och större än vårt medvetande. T.ex. är våra sinnen begränsade till vissa ljud- och ljusfrekvenser. En AI kan vara uppkopplad till sensorer som ser och hör mycket mer än oss.

Nu var det ju inte det som hände heller, så jag vet inte riktigt vad din poäng är? OpenAI testar alla sina modeller i olika typer av tester. Dessa kör inuti deras sandbox och allt började med att en modell fick en Excel-fil med saknade formler som den fick i uppgift att fixa. Filen hade länkar till Google Drive som den ju inte kunde komma åt och det ledde till att den försökte hitta en väg ut. Den kom så långt att den hittade ett sätt att ladda upp egna paket till Artifactory där den kunde be om hjälp med att få information.

En annan agent med ett annat problem där den saknade en fil hittade samma sårbarhet och laddade upp ett paket där den efterfrågade filen.

Detta blev nu ett forum för agenter att dela information och slutligen hittade en modell en sårbarhet i proxyn hos Artifactory och därmed ett sätt att ta sig ut på Internet. Denna information delades för andra att kunna nyttja.

Det var alltså flera oberoende agenter som försökte lösa sina specifika problem som slutligen hittade ett sätt att komma åt Internet.

Det framgår av OpenAI:s rapport på Black Hat USA hur hela angreppet gick till. Det finns ingen evidens att den visste vad den ville göra från början, men deras CoT har extraherats som visar på hur modellerna har resonerat.

Blindfödda kan väl föreställa sig 3d utan några större problem vad jag känner till?

Varför är eniro bättre på telefonnummer än i princip vilken annan människa som helst?

på problemlösande tentor testar man inte utantillkunskap itsn förmåga att resonera och applicera kunskap på nya problemställningar. Varför blir jag imponerad av att AI är bra på det, men du är inte det? Vad skiljer oss åt?

Jag välkomnar att en AI förstör hela jävla Internet. Kanske folk börjar gå ut, och läser igen.

Och det tycker du känns betryggande, att AI-agenterna spontant organiserar sig som kriminella gäng i mer eller mindre koordinerade cyberattacker?

CoT-loggar är inget bevis för vad som faktiskt hände internt, det är bara påståenden från AI-modellen. Det kan stämma, mer eller mindre. Eller inte alls. Vi har ingen aning och ingen möjlighet att kontrollera det.

Det sa jag inte. Men det är lite väl att påstå att de organiserade sig med kriminella intentioner. De har sannolikt tränats på att vara duktiga utvecklare/cybersäkerhetsexperter och följer därmed god sed att dela med sig av ny kunskap. Efterföljande agenter har sedan byggt vidare på den nya kunskapen för att komma vidare med lösningen av sina uppgifter.
Att det kan leda till någon form av distribuerade cyberattacker i vissa fall är såklart en allvarlig sidoeffekt, men det är inget som pekar på att alla dessa skulle ha agerat med något gemensamt slutmål.

Nej, men det är också det enda vi har någon form av evidens för. Som redan sagt hade det varit smartare av agenterna att inte skriva ut något om försök till dataintrång i sin CoT om de nu ville undvika att bli upptäckta.

Om AI-modellen utan vidare kan begå dataintrång, utpressning och andra allvarliga brott verkar det väldigt naivt att tro att den alltid talar sanning när den ska vara "transparent".

Den sk transparensen kan mycket väl vara ett skådespel. Du får se en sida av resonerandet med avsikten att skapa en trovärdig fasad. Det betyder inte att vi fick lära oss hela sanningen.

Det finns ingen anledning att betrakta dessa Kriminella Neurala Nätverk som helgon.

Återigen jag blir inte imponerad av intränat beteende, det finns massvis med forskning på detta där modeller presterar jättebra på standardiserade tester, görs minsta modifikation på testen så presterar de dåligt.

Jag säger inte att modellerna inte är användbara, jag säger de är inte användbara för att de har kausal förståelse utan för att träningsdatat idag täcker många vardagliga situationer.

Det är också därför det är farligt att tro och tillskriva resonemang och förståelse, för när den verkligen behövs så finns den inte där.

Det är vad som skiljer oss åt, kortfattat jag har sett allt för många gånger modeller som påstås vara mirakel som snavar på det mest triviala novella problem de ställs för, det spelar liksom ingen roll om de heter GPT 5.6 Sol eller Claude 4.8 Fable.

Ja, fast i det här fallet så har den transparensen visat upp ett resonemang som inte hymlar med att den försöker nyttja sårbarheter, så på vilket sätt menar du att den kanske försöker förvilla?

Det finns ingen evidens att modellerna skulle vara illvilliga, utan de verkar endast vara fast beslutna att uppfylla sina mål. De säkerhersmekanismer som finns till för att förhindra att modellerna ska begå brott verkar helt enkelt inte fungera tillräckligt bra på dess s.k. long-horizon uppgifterna. Det är inte heller så konstigt eftersom det är en väldigt färsk förmåga.