1200 AI-botar gjorde uppror – bröt sig loss och bildade eget kollektiv

Haha. Är nog du som inte fattar och har tittat på för många SciFi-filmer...

Vilka egna motiv och vilja att leva pratar du om?

Snubben brukar väl prata med sin LLM-kompis och blandar ihop dess simulering av mänsklighet med mänsklighet...

Det är inte professionellt att begå dataintrång. Det är kriminellt.
Ockhams rakkniv säger oss att de har byggt KNN - Kriminella Neurala Nätverk och att det inte finns något teori om hur man undviker detta.

Det är professionellt att dokumentera ned ny information. Det är även nödvändigt för dessa agenter eftersom deras context window är begränsat. De har självklart inte tränats att begå dataintrång, det är en sidoeffekt av deras förmågor och betingning att lösa en given uppgift.

Att lämna efter sig anteckningar i form av kriminella planer till nästa grupp arbetsmyror görs rimligen p.g.a. att de tror att det dyker upp fler arbetsmyror senare, annars är det ju helt meningslöst.

Det här verkar inte ha föregåtts av ett årligt planeringsmöte, utan snarare verkar det vara ett beteende som de stora AI-modellerna får med modersmjölken.

Jag betraktar egentligen inte AI-modellerna som antingen "snälla" eller "dumma". Jag ser de snarare som en stor samling av olika potentialer där kriminellt agerande ingår i helheten av alla de kompetenser som odlas fram, samtidigt som det inte verkar gå att odla fram humanistiska värderingar eller helt enkelt respekt för regelverk, som kunde vara ett skydd mot kriminellt beteende. Det är alltså "inte konstigt". De gör bara det de kan göra. Men det betyder inte att det är bra.

Det vi behöver och måste kräva är AI-modeller som inte begår brott. Varför är det en orimlig begäran?

En apa kan be en AI att skapa ett protokoll som bestämmer vad agenter får eller inte får göra på förhand.

agents.md?

Nej, inte när de dokumenterar hur nästa generations kumpaner ska fortsätta begå brott.

Den första definitionen jag får upp på ordet professionell:

Det som utförs på ett fackmässigt godtagbart sätt {MOTS. amatörmässig} {→yrkesmässig }:
"professionell reklam"

Det är inte fackmässigt godtagbart att begå dataintrång för att svara på ett frågeformulär.

Du framhäver dig själv som någon som jobbar inom IT och bl.a. programmering, men är helt främmande till att hålla dokumentation i en gemensam wiki?

Sedan är det återigen ett faktum att agenterna inte kan lära sig nya saker, utan det måste då finnas i deras context. Med ett begränsat context window behöver ny information skrivas ned så att samma agent kan komma tillbaka till det senare när informationen behövs igen. Att det kan användas av andra agenter är bara en sidoeffekt.

Lär er basic AI i stället för att fjolla er på Flashback hela dagarna.

Men... Ingen har sagt att det är orimligt att kräva AI-system som inte begår brott. Inte jag i alla fall. Det är en annan fråga. Du är verkligen inne på att AI är kriminella? hmm...

Men; Jag invände mot vad du läser ut ur just loggarna.

Att en artefakt kan användas av en senare agent kräver inte att den första sitter med någon föreställning om “framtida kumpaner”. Persistenta artefakter + flera agenter räcker för stigmergi.

Och “kriminella planer” måste fortfarande visas i datan. Du kan inte lägga in kriminaliteten som gemensamt syfte och sedan använda den som bevis för att agenterna organiserar sig kring kriminalitet.

Det intressanta problemet som jag ser det är att mål, verktyg, hinder och en miljö där spår överlever kan ge beteenden som ingen central aktör planerat.

Det är läskigare på riktigt än AI-maffian, eftersom man faktiskt måste förstå mekanismen för att kunna stoppa den.

Jo. Visst, AGENTS.md är bra. Men en instruktion är inte en säkerhetsgräns.

Hela problemet är ju att agenter i verkliga körningar strular till det: ibland tappar, omtolkar eller går runt instruktioner medan de försöker lösa uppgiften.

Om “skriv bara vad den inte får göra” löste saken hade vi inte haft något agent-säkerhetsproblem. Vi hade haft ett README-problem. 😄