1200 AI-botar gjorde uppror – bröt sig loss och bildade eget kollektiv

Enligt Johan Rockström-techbron Tristan Harris så uppfann AI-svärmen ett eget språk, men det är fortfarande möjligt att läsa loggarna. Låter väldigt märkligt. https://www.youtube.com/watch?v=ZUnYrS87hRU

De uppfann inte ett eget språk. De hittade ett sätt att kommunicera med varandra genom att det gick att skapa mappar i deras gemensamma pakethanteringssystem (Artifactory). Det de gjorde var att hitta på en syntax på dessa mappar så att de sorterades i någon form av kronologisk ordning och så att en agent kunde svara på en annan agents meddelande.

Efter ett tag, när några agenter råkade skriva över andras arbete, kom de fram till att de skulle signera sina meddelanden kryptografiskt för att kunna autentisera sig som agenter. Vissa meddelanden bestod av exekverbara script som var base64-encoded eftersom det annars inte går att spara en hel fil som ett katalognamn.

Det är samtidigt sant att AI-modeller faktiskt har hittat på egna språk.

T.ex. Neuralese. https://www.transformernews.ai/p/what-is-neuralese-openai-astra-chain-of-thought-recurrent-depth

Sådana språk är omöjliga för dig att begripa. Det är en mycket obekväm sanning som också omöjliggör transparens och AI Alignment, både nu och på längre sikt.

Du är helt utelämnad till ett naivt önsketänkande om att kommande ASI:er bara vill dig väl.

Lycka till med det.

Samtidigt är det inte ett språk i sig, utan exakt samma sak som sker i "vanliga" transformernätverk, d.v.s. intern representation går in i transformern och ut kommer ett nytt state som görs om till text. Skillnaden är att nu kan man loopa den interna representationen igenom samma transformer flera gånger utan att omvandla varje pass till text.

Det är mer likt att de kan tänka utan att skriva ut varje enskild tanke i kedjan.

Hur vet du att det "inte är ett språk" när du inte kan begripa det?
Du vet inte det. Du gissar bara. På grund av ditt envisa önsketänkande.

Jag tror att Neuralese är ett slags språk, men att det troligen är mer effektivt och optimerat än svenska och engelska som bygger på traditioner snarare än på ingenjörsmässig språkdesign.

Det är inte ett språk eftersom det inte kommuniceras. Du skickar in en vektor i transformern och ut kommer en ny vektor, detta repeteras ett godtyckligt antal gånger beroende på hur komplicerad uppgiften är innan den slutligen lämnar ifrån sig ett svar i text.

Det görs alltså saker i flera lager och mellan dessa lager kommuniceras det. För denna kommunikation har AI:n hittat på ett helt nytt språk, Neuralese, som du aldrig kan begripa. Man kan så klart tänka sig att samma språk, ett liknande språk, eller något helt annat språk, som du inte heller förstår, även skulle kunna användas till extern kommunikation mellan agenterna. Speciellt om AI:n vill dölja sina avsikter för oss, vilket vi vet att den vill.

Det kommuniceras ingenting, den kör en vektor igenom samma lager flera gånger där vektorn ändrar form mellan varje pass. Det är rekursiv beräkning snarare än någon form av kommunikation.

Ganska kul när dessa bottar pratade med varandra så skrev dom som 13 åriga fjortisar.

Alltså en reality check, jag förstår det är coolt att sitta på sin inrättning och läsa nyheterna om hur AI agenter bildar kollektiv, planerar och samarbetar. Speciellt när man redan är konspiratorisk lagd och har haft en mental bild om hur terminators springer runt på gatorna osv.

Men det är liksom ingen av er som tycker det är lite märkligt att av alla hundratusentals personer och forskare som undersökt och experimenterat med språkmodeller under alla år inte sett detta tidigare?

Det finns bara ett dokumenterat fall av detta och det råkar vara i OpenAIs testmiljö...

Det här kan undvikas genom att språkmodellerna tränas på mindre kollektivistisk litteratur.

Sen finns det folk som mig som är otroligt oinsatt i ämnet AI och datorer överlag, har helt enkelt andra intressen. Därför blir man ju nojig när man är förälder och att ens barn ska växa upp i en värld där man inte använder hjärnan och man är beroende av robotar. Jag vet helt enkelt inte hur tekniken fungerar. Men det jag vet fungerar är skrämselpropaganda, man slutar tänka rationellt och tar dumma beslut.

Det finns verkligen två läger, ena som säger att AI kommer ta över allt (Cyborgen) och andra som säger att det är en hoax.