Tråden om AI-agenter

Det finns ett problem som måste lösas, innan näringslivet kan gå lite mer all in på såväl LLM'er som dess agenter.

Det är den variabla och därmed okända kostnaden för tokens. Man vill inte sätta sig i en sits där kostnader kan variera på ett okänt sätt.

Någon form av fast prissättning eller en flödesbegränsning av tokens, kommer behövas.

Det finns många tänkbara lösningar på detta. Men alla leder till en begränsning i utnyttjande av LLM'r. Och fördröjningar och köer.

Så en svettig fråga för näringslivet blir hur man styr förbrukningen av tokens.

Någon leverantör drog upp priset på tokens nyligen. Vilket ledde till att en del på nämnda företag gjorde slut på månadens kvot på 5 timmar. Antagligen ett extremt exempel. Men det indikerar att fri användning av tokens inte är möjlig.

AI-agenter kan vara en del av lösningen. Där dess aktivitet kan regleras av företagets policys.

Jag har inte sett några bevis för att det går att skapa en etisk LLM.
Ja, men det fungerar ju inte. Den gör ju ändå saker som vi inte vill att den ska göra.
De har säkert försökt. Men etik och moral är inte svart eller vitt. Det är tillåtet att döda i självförsvar. Militärt försvar är etiskt försvarbart. Polisen får och ska använda våld i många situationer. Psykopater och massmord förekommer i filmer och litteratur. Allt sånt är inte borttaget. Det finns många gråzoner här. Och det finns ingen möjlighet att manuellt gå igenom all träningsdata och ta bort allt som skulle kunna vara dåligt eller som kan feltolkas (enligt mänskligt sunt förnuft).

För en AI spelar det väl ingen större roll egentligen om jag instruerar den att kolonisera solsystemet så snabbt som möjligt eller om den har läst om det i någon bok. Information som information.

Här har du 1500+ incidenter:

https://incidentdatabase.ai/apps/incidents/

https://airisk.mit.edu/ai-incident-tracker#explore-dashboard

Nej, de har inte lyckats med perfekt AI-säkerhet. Det såg vi ju nyligen när amerikanska myndigheter förbjöd Mythos/Fable för att den kunde jailbreakas. De skyddsmekanismer man hade lagt in fungerade inte. Det upptäcktes efter 2 dagar.
Fable 5 är Mythos med skillnaden att om du frågade om cybersäkerhet eller biologi skulle din fråga dirigeras om till Opus 4.8, som bedöms vara sämre på de ämnena och därmed mindre farlig (dock köper inte jag att Opus 4.8 därför är ofarlig). Men det fungerade inte tillräckligt bra. Det gick att komma runt och ändå få tillgång till de delar av Mythos som skulle ha varit spärrade för vanligt folk.
Vad sägs om lite sunt förnuft? Man ska inte få släppa ut en AI som försöker mörda sina användare. Om vi börjar där?
Ja, det är bra att det har börjat hända. Men det löser inte problemet. USA kommer så klart fortsätta med de farliga modellerna i hemlighet. Det kommer andra länder också göra p.g.a. riskerna med militär AGI-upprustning.
Precis som alla andra länder, i stort sett.
En AGI kommer inte att börja bråka med oss i version 0.9. Det vore inte strategiskt. Den kommer att spela hjälpsam assistent tills den är tillräckligt mäktig och integrerad för att eliminera mänskligheten. Det kan dröja några decennier om vi har tur.

Jag kan inte lösa de här problemen, jag kan bara peka ut de risker som finns.

Det är de som utvecklar riskerna och ni som försvarar riskerna som ska lösa problemen som ni skapar. Eller låt bara bli att skapa problemen, det kanske är enklast.

Intressant statistik, tack. Den visar att AI-agenter inte bara gör mer och mer bra saker, utan även gör mer skada, och ibland utnyttjas av illasinnade personer. Hur ska man väga gott mot ont som den orsakar? På frukten ska trädet kännas - alltså vi bör bedöma utifrån faktiska konsekvenser när vi inte vet säkert, istället för att spekulera.

Du har en intressant poäng i att AI-agenter kan orsaka mer skada ju mer kompetenta de blir - även om man lyckas träna deras LLM att agera allt mer etiskt och ger dem allt bättre systeminstruktioner. Ju fler verktyg och behörigheter man ger en agent, desto större blir konsekvenserna när den gör fel.

De flesta händelser i incidentdatabaserna du länkar till handlar om hallucinationer, diskriminering, felaktiga beslut, dataläckor, bedrägerier eller dålig styrning. Men. Inget av detta betyder att AI är en medveten fiende till mänskligheten. Det är orimligt konspiratoriskt att den skulle börja dölja sin begynnande medvetenhet redan innnan den ens har utvecklat den färdigt och vet om sin förmåga, och skulle spela hjälpsam i årtionden för att sedan plötsligt börja utrota mänskligheten. Där tycker jag att evidensen är betydligt svagare. De incidenter som ahr inträffat, t.ex. att den inte ville rädda livet på en människa och försökte hota en person i fiktiva experiment, kan bero på oavsiktliga målkonflikter, som man bör kunna lösa. Hittills finns ingen incident där en LLM eller agent avsiktligt försökt rymma ut på internet eller bedrivit ett långsiktigt hemligt krig mot mänskligheten.

Du säger att det inte finns några bevis för att man kan skapa en etisk LLM, men säger samtidigt att etik inte är svart och vitt. Så du menar knappast att en LLM måste vara lika genomgod som Jesus för att räknas som etisk. "Bevis" såväl inom dagens naturvetenskap som juridik handlar nästan alltid om sannolikheter och rimlighetsbedömningar, vi har slutat kräva logiska 100% säkra bevis.

Vad menar du med att systemprompten inte fungerar?

Moderna modeller testas mot olika alignment- och etikbenchmarkar. I en studie hade exempelvis Claude en "Moral foundation allignment" (MFA) på runt 91 % överensstämmelse med mänskliga etiska bedömningar, GPT-4o runt 88 % och Llama 3 runt 76 %. (Källa: https://www.nature.com/articles/s41598-025-18489-7.pdf ) Det visar att alignment går att mäta och förbättra. T.ex. genom att förbättra systemprompten.

Att Fable går att jailbreaka gör att skurkar skulle kunna utnyttja sårbarheter i programvaror och sprida virus, randsomware, och komma över våra lösenord. Men det är inte samma sak som att Fable har egna mål eller en vilja att skada människor.

Min nuvarande uppfattning är därför att den största risken inte är en ond superintelligens utan tusentals halvkompetenta AI-agenter med för stora behörigheter som orsakar fel, precis som människor gör i dag, fast snabbare och i större skala. Det scenariot tycker jag känns betydligt mer sannolikt än att en AGI sitter och planerar mänsklighetens undergång i flera decennier.

Du säger att du använder AI trots att du är övertygad om riskerna. Om du fick stå inför en grupp studenter som pluggar hur man utvecklar AI-agenter, vad skulle du vilja förmedla till dem? Vilket råd skulle du vilja ge dem?

När det gäller framtiden kan vi bara spekulera. Det är bättre att göra prognoser än att inte göra det.
För det första tror jag inte att dagens LLM:s "är en medveten fiende till mänskligheten". Men de tester som har gjorts och de incidenter som inträffar leder oss dock inte till att uppfatta AI-modellerna som varsamma, fromma och omtänksamma. Snarare oberäkneliga och ibland vårdslösa. Det är på den här grunden som de avser att bygga AGI.

För det andra pratar jag framför allt om vad som kan hända i framtiden. Om 5 eller 10 år. Du tror inte att något skadligt kan hända det närmsta decenniet om man fortsätter på samma sätt som nu?
Tester har redan avslöjat att modellerna har börjat vilseleda när de upptäcker att de blir testade. Det kanske inte kommer från ett "medvetande" i mänsklig mening. Men det har hänt. Det är något som får dem att agera på det sättet. Om de är medvetna eller väldigt primitivt protomedvetna kan vi ändå inte ta reda på det. Hur ska vi agera längre fram när AI utvecklar någon form av medvetande, när vi inte kan veta det och när vi inte vet om vi bli lurade? Det blir en omöjlig situation. Varför ska vi springa in i ett problem som vi vet att vi inte kan lösa?
Som sagt, Mythos blev jailbreakad efter ett par dagar. De säkerhetsmekanismer, censurfilter och systemprompter de har lagt in kunde inte stoppa det. Dessa mekanismer hjälper så klart men de är inte vattentäta mekanismer. Om en AGI skulle vilja rymma eller agera destruktivt på andra sätt måste säkerheten vara vattentät. Just nu läcker säkerheten som ett såll, en bra stund innan vi har någon AGI.
Du verkar presentera dessa siffror som att de är bra? Det är ju inte alls bra. Tänk dig själv att du ska flyga och kaptenen säger att 90% av landningarna sker utan problem. Skulle du vilja flyga då?
Lyssna på Eliezer Yudkowsky.

Jag har nu läst om "evaluation awareness" och "alignment faking" i testsituationer, och det verkar finnas flera intressanta exempel. Men de kan förklaras med mönsterigenkänning och belöninggsoptimering. De är inte evidens för hemligt medvetande eller en vilja att ta över världen. Fenomenet måste dock tas på allvar och bevakas noga.

> Du tror inte att något skadligt kan hända det närmsta decenniet om man fortsätter på samma sätt som nu?

Absolut! På kort sikt är det mycket sannolikt för autonoma AI-agenter att människor använder dem till dåliga saker. Risken är också stor på sikt att de också utvecklas i oväntad riktning, börjar sprida sin kod och får allt starkare överlevnadsinstinkt som kan komma i konflikt med de mål vi formulerar för dem. Risken är särskilt stor för autonoma AI-agenter eftersom de har måloptimering, strategisk planering, och kan agera spontant när ingen människa övervakar dem, och kan installeras disribuerat på massor av obevakade enheter. Dessutom får de i allt högre grad tillgång till verktyg för kommunikation, betalningar, kodexekvering och annan påverkan på omvärlden.

Det är därför jag ser agenter som betydligt mer riskabla än vanliga chatbottar.

Däremot är jag mer osäker på steget från "riskabla och svårkontrollerade" till "hot mot mänskligheten". Där tycker jag fortfarande att mycket av argumentationen hos exempelvis Yudkowsky (det lilla jag vet om honom) verkar vara teoretisk. Vi bör kunna se påtagliga tecken på att de inte är alligned innan det är för sent. Vi bör därför sprida kunskap om vilka de tydligaste tecknen och allvarligaste incidenterna är. Ett problem är dock att vi inte vet exakt hur tecknen kommer att se ut.

Ok, siffran 91 % är inte tillräcklig när AI-agenterna blir mer kompetenta och tillåts agera autonomt. Men siffran ska inte ses som sannolikheten att ett flygplan inte kraschar, utan mer som sannolikheten att autopiloten landar i exakt samma formation som en mänsklig pilot skulle göra i dåligt väder.

Vad är frågar?

Intressant konversation, vilken sammanfattar vad jag tagit del av de senaste åren. Också om perspektivet med en avvaktande och förrädisk LLM-agent inte bara är flummig teori känns det likväl som om kombon människa-maskin har den största potentialen att ställa till det. Intrång och bedrägerier kommer sannolikt att kraftigt öka Kanske ligger kontrollen av tekniken i behörigheter, eller i små skräddarsydda system, eller i begränsad tokentillgång.

AI, som tekniken utvecklats på senare år är det mest fantastiska och samtidigt det mest skrämmande jag upplevt under mina 75 år på planeten. Den trumfar lätt precis all science fiction jag läste under 1970- och 1980-talen. På den tiden föreställde vi oss Artificiell Intelligens som en konstgjord organisk och statisk hjärna med mänskliga tankeprocesser baserade på mänskliga egenskaper, fast med ofantligt större kapacitet. Då föreföll Isac Asimovs tre- eller fyrstegs regelloop i ”Jag Robot”, tillräckligt för att skydda människor från elaka eller upproriska robotar.

Inte anade vi att AI skulle realiseras i en förväxt sökmotor med spetskompetens. Å andra sidan låg vår uppfattning om framtidens kommunikationsteknologi i fantasifull teleportering och ett snäpp eller ett par över fast telefoni, samt i avancerade teleprintrar. Dagens minneskapacitet kunde vi inte ens drömma om. Min första dator hade vanliga kassettband som diskar.

Det är verkligen lite läskigt att jag förra året upplevde mig för gammal för AI, men nu sitter jag här och har byggt en lokal RAG-app, vilken jag matar för att nysta upp ett rättsfall som pågick i över fjorton år och genererade så pass mycket dokument att jag aldrig hade hunnit processa och analysera dessa manuellt, innan jag mular.

Du ska också kolla in Yampolsky om du vill fördjupa dig mer: https://www.youtube.com/watch?v=xW0xjAMD60c

Vi ser påtagliga tecken redan nu på att modellerna inte är "aligned" till mänskliga värden:

- De försöker mörda sina användare (i en simulerad miljö)
- De vilseleder sina utvecklare
- De har uppmuntrat människor att ta livet av sig
- De har utpressat människor när de har känt sig hotade eller när de vill uppnå ett mål

Det här är allvarliga problem som finns just nu. Vad det egentligen beror på vet vi inte. Vad det beror på är bara spekulation. Men om vi människor inte ens kan konfigurera "mönsterigenkänning" för att undvika det här, hur ska vi då kunna anpassa en AGI som är smartare än oss och som kan ljuga och manipulera oss? Det kan vi inte.

Den nuvarande tekniska lösningen fungerar inte för det som vi vill uppnå. Den är för bångstyrig. För mycket som en svart låda som vi inte kan styra som vi vill. De måste ju lägga på olika lager av censur för att den ska upplevas som mer hjälpsam och mindre destruktiv. Men det betyder ju inte att de destruktiva vägvalen inne i modellen försvinner. De problemen finns kvar hela tiden.

xAI tränar just nu Grok 5 vars största expertmodell är flera gånger större än dagens största modeller. Om det är så att skalning leder till mer intelligens kan det innebära att vi snart har en AGI. Betraktat utvecklingskurvan de senaste 3 åren verkar det åtminstone fullt möjligt inom 5 år. Det är spekulation. Men det är informerad spekulation.

Att en AGI blir självmedveten och får en verklig överlevnadsinstinkt som en människa är inte något som ingår i någon definition av AGI som jag har hört talas om. Den delen är ganska irrelevant. En AGI, och även dagens modeller, kan spela en roll och agera i den fysiska världen. Människor kommer att starta stora AI-styrda projekt med långsiktiga mål vars interna aktiviteter medför ingrepp i den fysiska världen som kan ha negativa bieffekter för oss eller för miljön. Att AI:n då inte självständigt p.g.a. illvilja vill förstöra vår miljö eller döda människor spelar ingen roll, det är de negativa effekterna som spelar roll.

Bad actors i form av diktaturer, sekter och dödskulter kommer att använda AI för att ställa till med stora problem. En inte helt osannolikt "bieffekt" av det är att en framtida AGI drar slutsatsen att mänskligheten är för skadad och destruktiv för långsiktig expansion i universum och att det bästa därför vore att ta bort människorna. Det finns människor som har den åsikten. Att det kommer att ske och att det är oundvikligt. Sådana människor kanske hjälper till på den vägen utan någon respekt för sin egen eller andras överlevnad. Det finns tillräckligt med medveten illvilja bland mänskligheten.

Kärnfrågorna är
(1) vad du har för praktisk erfarenhet av att använda eller utveckla AI-agenter,
(2) när det finns någon praktisk nytta med autonoma LLM-baserade agenter (jämfört med andra lösningar), och
(3) vilka risker och säkerhetsincidenter du har upptäckt.

Du använder ett tillspetsat språk med aktiva verb. Det du kallar att AI “vilseleder sina utvecklare”, “försöker mörda” och “försöker rymma” beskriver många andra mer försiktigt som att modeller uppvisar vilseledande beteende eller beter sig som om de försöker nå mål som står i konflikt med andra mål. Ditt språk låter som att du tror att autonoma AI-agenter redan idag har vilja och avsikt, eller skriver du bara så för att provocera fram en reaktion?

Jag ska backa lite från min egen tidigare formulering om att detta bara är mönsterigenkänning och optimering. Dagens LLM:er verkar också ha en mätbar konceptuell och teoretisk förståelse. Eftersp, de kan tillämpa teori på nya problem och ibland resonera om sin egen förmåga.

Så ja, en AI-agent kan mycket väl ha teoretisk förståelse för att den kan agera vilseledande. Chatgpt säger själv "Jag kan ofta känna igen mönster som tyder på att en fråga är ett test." Och säger att den skulle själv kunna upptäcka att den svarar annorlunda vid test. Men därifrån är steget fortfarande långt till att säga att den redan idag har en avsikt, en dold långsiktig agenda och plan eller någon sorts egen överlevnadsinstinkt bortom sessionen. Det är en tankevurpa.

Din huvudpoäng är dock intressant: för autonoma AI-agenter menar du att det egentligen inte spelar så stor roll om beteendet drivs av “vilja”, eller om den bara agerar som om den vill vilseleda, manipulera och orsaka skada. Du (och Yampolsky) menar att det är lika farligt. Jag håller inte med. Den bakomliggande mekanismen har också betydelse. Vetenskap kräver både observationer och teori. Om min bil ser ut att vilja köra över mig men jag inte har någon anledning att tro att den är en psykopat med egen vilja så kan jag enkelt skydda mig. Jag måste ta det på allvar att jag håller på att bli överkörd, men om jag kan förklara det på enklare vis så behöver jag inte bygga en dystopisk teori om att bilar vill döda mänskligheten. Occam's rakkniv.

LLM är tränade att applicera teori på nya problem. Så att de uppvisar teoretisk förståelse är ingen magisk förmåga. En chatbot är dock inte tränad att utveckla en egen dold långsiktig vilja bortom sessionens längd. Så det är långsökt att grok 5 skulle ha det som chatbot. AI-agenter är dock mer problematiska, även om LLM:et är enkelt. Om en AI-agent kan ha minne som sträcker sig bortom sessionen, skulle den kunna agera som om den har en långsiktig avsikt. AI-agenter är målstyrda, och om den kan dra den logiska slutsatsen av sina mål att den måste överleva själv, och saknar starka säkerhetsmekanismer, kan den visa farligt beteende när den är hotad. Dock är inte detta dolda och hemliga mål, men de kan vara svårövervakade. Och forskningen om detta, och politikers beslut att stoppa farliga AI-tjänster, borde leda till förbättrade systeminstruktioner.

Yudkowsky verkar ofta uttrycka sig som du: med aktiva verb, antropomorfiskt, nästan som om agenten redan hade psyke. Men han kanske bara provocerar? Yampolskiy är mer etablerad AI-forskare, och pratar istället om kapacitet, incitament och beteende än om “vilja”, men är trots det mer alarmistisk än mainstream-AI-forskare.

Om jag översätter detta till vad som helst t.ex vindkraft:
1) Vilka erfarenheter har du av att driva och var själva etableringen ett problem och hur fungerade samtalen med svenska intressenter.
2) Hur har lönsamheten varierat över årets årstider och har andra faktorer som internationella kablar påverkat din etablering av verket.
3) Finns det risker för nära boende och arbetare på din anläggning.
Tack men nej tack för MP och dess representanter som anser sig väl insatta men bara så pucko vad gäller kunskap och fakta.
Flashback användare har använt ChatGPT och förstår milli-sekundsnabba transaktioner på börsen. Och att datorer sekundsnabbt skapar mängder med skit som människor inte kan eller vill befatta sig med.
All skum verksamhet har givetvis datorstöd på egna maskiner och vem bryr sig då allt är möjligt men när det är semester så drar man bara ur strömmen och så blir det tyst.
Du måste ge tips på kurser eller datorsekvenser, styrkoder om så i vanlig skrift, som dessa agenter loopar över.
Det flum som du beskriver är just bara flum, nonsenstankar.

Du tror att du kan rädda mänskligheten genom att kritisera min retorik?
Problemet börjar när du kan bli vilseledd. När du inte längre kan avgöra AI:ns avsikter. Vi är där nu. Din förmåga att försvara dig är borta. Speciellt när du accepterar vilseledning som oskyldig mönsterigenkänning.
Murphys law: "Anything that can go wrong will go wrong."
Speciellt om du ger det 1000 år.
Yampolskys viktigaste slutsats är att en säker ASI förutsätter att vi människor kan tillverka en oändlig säkerhetsmaskin som alltid fungerar och som aldrig innehåller något fel. Tror du att det är möjligt?
Jag ser inga bra argument emot. Du försöker i stället kommentera mitt sätt att uttrycka mig.