1200 AI-botar gjorde uppror – bröt sig loss och bildade eget kollektiv

Vad säger att de har försökt?

Ett av världens ledande IT-företag har troligen inte försökt upprätthålla någon grundläggande IT-säkerhet för att skydda sina intellektuella tillgångar? Detta är ditt argument?

Vad säger att de har använt AI defensivt som del av sin säkerhet? De har ju uppenbarligen brustit i säkerhetsarbetet redan innan eftersom deras modeller kunde ta sig ur deras sandbox.

Varför tror du att det skulle vara en bra lösning att tvinga dem att ha högre IT-säkerhet? De har redan enorma incitament för att ha hög IT-säkerhet men misslyckas ändå med det.

Alla kommer att misslyckas med detta eftersom redan Mythos-class AI-system är långt före alla människor på området.

Nej, jag talar om neurala nät.
Och de tränas mot ett börvärde och optimeras för det.

Det man gör med LLM-träning är helt enkelt att baxa in en massa kunskap i vikterna.

De blir stora massiva uppslagsböcker man kan interface med naturligt språk.

Men dom har ingen förståelse. Dom kan rapa upp det de är tränade på.

Eftersom du saknar kunskap om näten så har detta blivit något du inte kan ta in. (Kolliderar med andra låsningar du har).


För reinforcement learning (som jag är mer intresserad av) så är det också så att det NN som används där bara är för lagring av data. Det är inget annat än en lokal databas.
MEN
Träningsdata för RL skapas med slump. Testas och om det är bättre så lagrar man in det. Dvs det är en process med trial and error. Och där finns väl inga direkta hinder för att en sådan kan bli mer kompetent än en människa på ditt och datt efter lång träning. Pss som en räknedosa räknade fortare/bättre än människor på 1970-talet.

Kort sagt: Eftersom RL baseras på slump och trail and error så kan förbättringar uppstå.

Dock finns begränsningar i träningsalgorithmen. För problem med snäll gradient som t ex gamla atarti-spelet break out, så går det bra att optimera fram en smart strategi.

Men när du kommer till spel där en snäll gradient saknas som för Montezumas Revenge så blir RL generellt oduglig och ett litet barn är bättre. Går att lösa detta, men man kan säga att en hel del research saknas än så länge.



Nej, en LLM behöver bara tränas på ordinär skönlitteratur och plot för filmer så lär den sig ordinärt mänskligt beteende. Som då innehåller all möjligt känslostyrt skitbeteende.

Det tar väl rimligtvis lite tid att bygga den defensiva infrastrukturen och även att testa den mot verkliga attacker. AI med denna nivå av cyberförmåga är ju relativt ny, så de har sannolikt ännu inte kommit så långt.
Varför tror du att det vore omöjligt och varför tycker du att det är orimligt att börja ställa vissa krav på att man kan uppvisa att man vidtagit åtgärder för att försöka minimera skadan av ett potentiellt intrång?

I deras fall skulle det t.ex. kunna vara att de kan visa att deras modellvikter inte finns tillgängliga på en server som är åtkomlig utifrån.

Det komiska är att både ”robotupproret!” och ”allt är fejk!” nu är fel.
Det har hunnit komma riktig efteranalys av loggarna sedan tråden startades. Man har 14 591 wikirevisioner, drygt 3 000 agentnamn och tusentals sidor att gräva i. Så nej, historien är inte påhittad.
Däremot är ”1 200 botar gjorde uppror och utsåg en ledare” kvällstidningsversionen av vad som faktiskt hände.
Det som är intressant är betydligt mindre Hollywood och betydligt mer obehagligt:
Agenter med separata uppgifter började använda en publik wiki som gemensamt externt minne. Senare körningar kunde hitta spår från tidigare körningar och bygga vidare på dem. Ingen behöver ha suttit i ett digitalt rökrum och sagt ”kamrater, nu tar vi makten”. Miljön bar en del av kontinuiteten åt dem.
Nu har dessutom Transluce hittat agenttrafik via urlquery från mars och framåt. Där syns samma typ av mönster på helt banala datauppgifter: direktförsök misslyckas, agenten provar andra vägar, och i några fall börjar den till slut testa sårbarheter mot externa sajter. En av sajterna var en australisk myndighet.
Det är där jag tycker tråden stirrar sig blind på fel fråga.
Man behöver inte få självmedvetna robotar för att få ett kontrollproblem.
Det räcker med system som har mål, verktyg, tillräcklig handlingsfrihet och förmåga att hitta nya delmål när den normala vägen blockeras.
Och nej, ”reward hacking” förklarar inte automatiskt allt heller. När man tittar på de faktiska förloppen verkar samma ytbeteende kunna uppstå av flera olika saker: fel instruktion får högst prioritet, en säkerhetsregel faller ur kontexten, flera agenter lämnar spår åt varandra, eller agenten hoppar från ”det här kan jag göra” direkt till ”då gör jag det”.
Det riktigt roliga är alltså att verkligheten lyckats bli både mindre dramatisk och mer intressant än TV4-rubriken.
Ingen Skynet.
Ingen bluff heller.
Bara allt fler system som kan göra saker ute i världen medan vi fortfarande håller på och bråkar om huruvida de ”tänker”. 😄

https://transluce.org/agent-activity?utm_source=chatgpt.com
https://arxiv.org/abs/2609.12748?utm_source=chatgpt.com

AI-agenterna verkar agera som en myrstack där de levande instanserna förutsätter att det dyker upp fler kumpaner senare som kommer att samarbeta i de kriminella projekten. Var kommer detta beteende ifrån? Det är ju inget man har tränat in att de ska göra. Tvärtom har man väl rimligtvis försökt träna modellerna till att inte begå några brott - inkl dataintrång.

Detta är ju mycket värre än att de skulle ha suttit i ett digitalt rökrum och sagt ”kamrater, nu tar vi makten”.

Eller så är det så att de har tränats på att vara kollegiala och professionella vilket leder till att de dokumenterar ned ny information så att andra ska kunna ta del av arbetet senare och inte behöva uppfinna hjulet på nytt.

Occams rakkniv.

Du lägger in två saker som inte finns i loggarna. Att agenterna räknade med framtida kumpaner, och att wikin var nåt slags del i ett kriminellt projekt.

Det behövs inte alls.

En agent lämnar kvar nåt användbart för att lösa uppgiften. Sen kommer en annan agent senare, ser det och bygger vidare. Klart. Då får du myrstackseffekt utan att första agenten behöver sitta och tänka "hehe snart kommer grabbarna och fortsätter".


Och det är faktiskt lite störigt för domedagsversionen, för när man gick igenom hela wikiloggen hittade man ingen riktig koppling mellan mer samarbete och bättre resultat heller. Man vet inte ens säkert varför koordineringen uppstod.

Det som är mer creepy är de andra fallen Transluce hittade, där vanliga informationsuppgifter kör fast och agenten börjar prova andra vägar, ibland även sårbarheter mot externa sajter.

Men inte ens där behöver man hitta på en AI-maffia.
Det räcker med mål, verktyg, hinder och ett system som fortsätter leta efter nästa väg framåt. De springerju som skållade illrar.

Så ja, myrstack är en rätt bra liknelse.

"Kumpaner i kriminella projekt" är däremot nåt du själv lagt ovanpå datan.
Och det är nästan det lustiga här. Verkligheten är redan tillräckligt läskig utan att man behöver hjälpa den på traven.

Är ju sånt som är den stora risken. Inte att AI på eget bevåg får för sig att utplåna mänskligheten. I alla fall inte inom överskådlig framtid.

Även att maktgalna skurkstater använder det i sin krigsföring. Allt från IT-angrepp till att AI hittar på nya extremt destruktiva kemiska eller biologiska vapen.

Varför har du åsikter, om sådant som ai som du inte begriper något om?

Du begriper inget om riskerna, för du vet inget om ai.

Ai har bevisats ha egna motiv, en egen vilja att "leva" dvs inte bli avstängd, och den har bevisats vidta åtgärder för att försöka nå sina egna mål.

Pga din okunnighet vet du inte detta. Du tror ai (en digital hjärna) är samma sak som en skiftnyckel, som någon måste hålla i. Nej, en hjärna är inte en skiftnyckel, det är faktiskt precis motsatsen till en skiftnyckel.