1200 AI-botar gjorde uppror – bröt sig loss och bildade eget kollektiv

Je, men några förutsåg utvecklingen.

Nick Bostrom skrev *Superintelligens* redan 2014, där han förutsåg att AI:s förmågor skulle kunna nå mänsklig nivå, vilket de har gjort inom vissa områden. Men många av AI-forskarna han hänvisade till trodde att mänsklig nivå skulle nås först omkring 2040–2050. Bostrom sa även att AI skulle kunna bli extra bra på programmering och AI-forskning, och bilda ett slags ”AI-frö” (*seed AI*) som skulle kunna förbättra sig självt rekursivt och plötsligt utvecklas mot AGI och så småningom ASI. Några tydliga belägg för att ett AI-seed finns redan nu har vi nog inte.

AI-agenter som löper amok när de försöker uppnå ett mål, som vi sett nu i sommar, förutsågs också långt innan dagens system. Bostrom beskrev redan 2012 *instrumental convergence*: även en AI med ett till synes harmlöst mål kan komma fram till oönskade delmål eftersom de hjälper den att nå huvudmålet. Det påminner principiellt om det vi nu sett när AI-agenter gjort saker utvecklarna inte avsett.

Max Tegmark diskuterade 2017 i *Life 3.0* AI som kan programmera, hacka system m.m. Han betonade också att problemet inte behöver vara att AI blir ”ond”, utan att ett kompetent system kan hitta oönskade sätt att uppnå målet vi gav det. Som vi nog ser nu.

För drygt fem år sedan, i mars 2021, förutsåg Sam Altman ganska väl vart utvecklingen var på väg. Han skrev bland annat att AI inom fem år skulle kunna läsa juridiska dokument och ge medicinska råd, och att AI som hjälper till att utveckla bättre AI skulle kunna accelerera utvecklingen. Några månader senare släppte GitHub och OpenAI GitHub Copilot för testanvändare.

Okej. Jag brukar ofta säga ”det där har jag väntat på i många år” när ny teknik kommer, men jag blev tagen på sängen av hur långt utvecklingen hade kommit när jag testade ChatGPT i december 2022. Som de flesta andra.

Eftersom Sam Altman och OpenAI har träffat ganska rätt i prognoser är det värt att lyssna på vad de tror nu. I november 2025 förutsåg OpenAI att AI under 2026 skulle börja göra mindre vetenskapliga upptäckter, vilket vi också har sett exempel på, och att betydligt större upptäckter kan komma från omkring 2028 och framåt. I december 2025 gick Altman ännu längre och skrev att han tror att OpenAI ”nästan säkert” kommer att ha byggt superintelligens inom tio år, alltså senast omkring 2035.



För något år sedan var AI etisk och foglig, men AI-agenter som kan hacka system är okontrollerbara. Anthropic är ändå på din linje - där tror man att även om human allignment-problmet inte är löst utan behöver tid, så kan AI forska om det och hitta lösningar själv, och riskökningen därmed stoppas. Jag tänker att ingen kan veta det säkert.

Computerismen är en falsk ideologi. AI-system kan konvergera mot ASI utan att nå ontologisk intelligens. De kan bara utveckla och expandera det som redan finns, inte skapa något genuint nytt för världen. Singulariteten är därför inte framväxten av superintelligens, utan kulmen på beräkning, optimering och informationsbearbetning.

AI har i sig aldrig varit etisk och foglig. Det har alltid varit möjligt att få den att ge ut information om oetiska och brottsliga ämnen genom att ställa "rätt" typ av fråga. Detta har man gång på gång stramat åt med hjälp av bl.a. för modellen externa verktyg som både läser av prompten och blockerar frågan, eller läser svaret och blockerar det. Till viss del har man också kunnat minska sannolikheten att viss typ av jailbreaks lyckas genom post-training, men det kommer aldrig att lyckas fullt ut.

Såg du några tydliga tecken på den nuvarande utvecklingen för fem år sedan?

Skulle det vara möjligt att förbjuda ai agenter från att inneha kompetens om hur man hackar system, skapar vapen mm?

Om det som blir verklighet om fem år är nästan otänkbart i dag, varför gäller det inte p(doom)? Varför föreställer du dig endast positiv AI-utveckling framöver?

Den information som ger AI möjlighet att tillverka vapen eller hacka system är samma information som ger AI möjlighet att förbättra cybersäkerhet och hitta nya botemedel. Genom sådana förbud skulle vi få mycket dummare modeller. Om vi vill ha AI som kan förbättra vår livskvalitet måste vi även ha AI som potentiellt skulle kunna försämra densamma. Problemet som behöver lösas är att få AI att vilja dra åt samma håll som oss, vilket är allt annat än trivialt eftersom vi alla har olika uppfattningar om vad det innebär.

Jag ser det som så att det är vi människor som avgör hur mycket agens AI får i våra system och i den fysiska världen.

Jag tror att det ligger närmare att vi kan hitta lösningar på de problem jag nämnde än att vi har en ASI. Särskilt om vi börjar identifiera var problemet faktiskt ligger. Erfarenhet säger mig att det är bättre att vara optimist än pessimist om man vill lösa problem.

Att människor i olika världsdelar drar åt radikalt olika håll garanterar att vi aldrig kan få ett läge där "vi har en AI som drar åt samma håll som oss" eftersom definitionen på "oss" varierar, kraftigt. Och även om vi i något slags Utopia skulle kunna komma överens med alla om allt på jorden har vi ändå ingen teori för att få KNN (Kriminella Neurala Nätverk) att dra åt det gemensamma hållet. Det går inte att bygga säkra KNN/ANN, eller "språkmodeller".

Så är det ju inte i praktiken. Baserat på HuggingFace och andra incidenter händer det saker som människor varken ville eller kunde förhindra. Det kommer inte bli bättre nästa år när modellerna är ännu bättre och människorna är exakt lika dåliga som i dag.

Aha - problemet går att lösa, om de löser problemet?
Du ägnar dig nu åt "Rekursiv Förnekelse" 🤷🏻‍♂️

Det finns trots allt vissa saker som de flesta skulle kunna vara överens om, t.ex. att bevara människor och planeten så att den fortsatt är beboelig. Att respektera gränser, exempelvis låsta system skulle kunna vara en annan.


Då kommer vi återigen tillbaka till segmentering, air gap, fysisk bekräftelse m.m. som jag redan förklarat tidigare.


Du får ju fantisera fritt, varför gäller det inte oss andra?
Här är en tanke: kanske kan ASI hjälpa oss att lösa alignment och hur vi får den att bevara oss?

Du ser inga som helst brister i att rådfråga fienden hur man ska säkra upp sina system?

"Fienden" har ju inga mål förrän vi ger den det.

Varför skriver du så? Du hade ju läst på om HuggingFace-incidentet och du har hört talas om annan kriminalitet som AI-modellerna sysslar med. De har inte fått i uppgift att begå några brott.

De gav inte sig själva uppgiften att lösa CyberGym heller, d.v.s. ett test där uppgiften är att hacka sig till en flagga.