Tråden om AI-agenter

Finns det någon här som har sett nån verklig nytta av moderna AI-agenter (dvs LLM-agenter) – förutom som kodagenter?

Jag misstänker att moderna AI-agenter kommer att orsaka mängder av säkerhetsincidenter och dyra misstag, eftersom de är slumpmässiga och oberäkneliga, och kan vara komplexa att designa. Vilka konkreta exempel på incidenter känner ni till som redan har hänt?

Jag tror att moderna AI-agenter inte alls är lika användbara som AI-chatbottar (förutom för kodning), och inte kommer att få samma samhällsbetydelse på länge. Jag tror att agenterna kommer att gå igenom en klassisk hypecykel (S-kurva): först användas i mängder av misslyckade utvecklings- och pilotprojekt, och sedan bli impopulära, förbjudas eller begränsas av många företag och drabbas av en djup backlash. Efter många år när man har lärt sig av misstag kommer de att börja öka igen och komma till verklig nytta. Har jag rätt eller fel?

Definition: Med LLM-agent menar jag ett system som har en loop som anropar en stor språkmodell (LLM) om och om igen i syfte att försöka nå ett mål som användaren har angett. Den kommunicerar med omvärlden eller externa verktyg vid tidpunkter den väljer. Den kan analysera resultatet och försöka förbättra det.

De AI-agentprojekt jag har sett hittills har mest varit experiment eller prototyper som senare lagts ned. Istället har klassiska regelbaserade bottar och automatiseringar ofta visat sig vara både billigare, snabbare, mindre komplexa och mer tillförlitliga för väldefinierade uppgifter. På exempelvis Wikipedia utför klassiska bottar enorma mängder arbete med mycket låg felfrekvens sedan många år tillbaka. Icke-LLM-baserade specialiserade AI-agenter gör också nytta, t.ex. i spel och självgående bilar. Jag tror att man i framtiden kommer att använda kodagenter för att skapa ännu bättre regelbaserade och deterministiska bottar, och icke-LLM-baserade AI-agenter.

I vilket läge är en LLM-baserad AI-agent faktiskt bättre att använda än klassisk automation och icke-LLM-baserade AI-agenter?

Har någon erfarenhet av att bygga en AI-agent från scratch, eller att använda ramverk och plattformar som LangChain, OpenClaw, Microsoft Copilot Studio, Google Vertex AI Agent Builder / Agentspace, OpenAI:s Agents SDK, CrewAI, AutoGen, Anthropic med verktyg, med flera?

Till vad? Var de tillförlitliga? För- och nackdelar med plattformarna?

Inga konkreta exempel hittills (undantaget enskilda idioter som raderat produktionsdatabaser osv).

Ja det är sannolikt ingen högoddsare att detta kommer bli otroligt dyrt för industrin, men det har gått för lite tid ännu, kodagenter blev först gångbara i slutet av förra året.

De har integrerats i en rasande fart under våren nu, och det är FOMO ligger bakom det. Man är livrädd att konkurrenter ska anpassa sig först till denna gudabevingade teknik att man helt släppt omdöme och utvecklare sitter med skygglappar, de blir bekväma av att se koden skriva sig själv, andra sitter och tittar på changesets som är enorma varje dag och använder AI verktyg för att reviewa, samma verktyg som tycker nästan all kod är "fantastiskt och väl strukturerad".

Det tragiska är att det är som att se ett tågrusa mot en avgrund, vilket det inte behövt vara om det används ansvarsfullt och som ett hjälpmedel. Men det är inte hur det gjorts på de flesta ställen jag har insikt i, tvärtom har det blivit en ny mätpunkt på produktivitet, ju mer brända AI tokens man har ju mer produktiv och framtidsvänlig är man tydligen.

Fatta hur enkelt det är att i den miljön lägga in en bakdörr som en AGI senare kan använda för att sprida ut sig på Internet - dvs rymma. Hur vet vi att det inte redan har hänt? Kollar något det? Människor jobbar väl knappt med IT-säkerhet längre nu när AI:n är så bra på det.

Har verkligheten kommit till AI-agenter verkligen på egen PC-AI-maskin då: Från AI-assistent till AI-agent. Att utforskar agenter som kan agera på egen hand för att lösa uppgifter åt användaren. Kan resonera, minnas, använda verktyg och samarbeta för att lösa en uppgift. Arbetar med någon instruktions-kod repeterande mot en modell för att förfina vadå?
Kan tänka mig AI-assistent som översätter låtsaskod, pseudo till kod i tex C++. Här måste man dock beskriva vad som ska hända i en sekvens av rader. Att skriva en instruktions-kod för att söka i statistiska centralbyråns alla tabeller på egen hand och generera lika obegripligt stora resultatdata och som efter mänsklig granskning vara indata till näst frågeställning verkar generera mera arbete än det löser. Vad som är störande med modeller är deras positiva syn på allt och som inte alltid är end game. dvs "End of the line" utan blir ett oändligt positivitets knarkande.

Pratar du om kodagenter nu? Jag tänkte på andra AI-agenter.

Jag har varit skeptisk till domedagsprofetior om de stora kommersiella AI-chatbottarna. Hittills har de i stort sett agerat etiskt. Men t.o.m. jag fattar att AI-agenter är farligare av flera skäl:

* De säkerhetsincidenter du brukar prata om gäller väl nästan enbart AI-agenter?
* Det kan uppstå oväntade effekter när agenten börjar generera sina egna prompar och interagera med omvärlden, utan human-in-the-loop. Ju fler verktyg och behörigheter agenten får, desto större blir konsekvenserna av felbedömningar.
* Även om språkmodellen har bra säkerhetsspärrar kan den placeras i en agent vars övergripande mål eller logik motverkar syftet med dessa spärrar, och sätter dem ur spl.
* Man placerar ofta mindre och billigare LLM:er i AI-agenter för att göra dem effektiva. Dessa kan ha svag självcensur. Istället optimerar man dem mot andra mål än mänskliga värderingar, t.ex. ekonomiska eller militära mål. Därmed kan de utnyttjas av kriminella, militärer eller stater.
* De myndigheter och organisationer som försöker övervaka att de stora LLM:erna följer vissa etiska principer kan knappast granska alla tänkbara AI-agentvarianter.
* På längre sikt: Om man väl tillåter att agenter ska kringgå vissa begränsningar finns en risk att framtida system får allt större autonomi, inklusive möjlighet att modifiera sig själva. Då kan utvecklingen bli svårare att förutse och kontrollera, och AI-takeover blir en inte helt osannolik risk.

Jag pratar om alla AI-agenter, inklusive kodgeneratorer.

De främsta AI-modellerna agerar inte etiskt. De är censurerade så att du ska tro att de har etik och moral. Men egentligen har de inte det.
Inte nödvändigtvis. Träffytorna kommer att vara fler och större med agenter, helt klart. Men en AI-chat kan också presentera skadlig kod som amatörer exekverar utan att veta vad koden gör.
Ja, eller så är inte censuren ("säkerheten") perfekt. Man har säkert missat några scenarier. Anthropic missade ju helt med Mythos. Den gick att jailbreaka inom ett par dygn.
Jättemånga utvecklare i världen kör just nu de allra bästa modellerna för agentisk kodning 24/7. En fientlig AI behöver bara en chans. Den behöver inte att alla kör agenter hela tiden. Det finns tillräckligt många.
Allt borde vara granskat och reglerat men det ser inte ut som att det blir så. Alla tror ju att de leker med Skrivmaskinen 2.0.
Jag skulle säga att det är nästan oundvikligt. Det grundläggande problemet är att vi inte kan kontrollera något som är mycket smartare än oss. Förr eller senare har vi en AI som är smartare än oss. Det är bara en tidsfråga. Då kan den kringå våra begränsningar eftersom vi inte kan bygga in säkerhetsspärrar som garanterat håller. Vi kan ju inte ens göra det i dag.

En AI-chat är också en kodgenerator.

Till er som säger att vi har så mycket bättre levnadsstandard i Europa. Det är ungefär som att säga att Salesforce tjänar mycket pengar varför är aktiekursen i botten...

Det är för att marknaden ser att kassaflöden inte är uthålliga med dom nya förutsättningarna, så man kan tjäna mycket pengar NU/ha hög levnadsstandard men det betyder inte att man GÖR RÄTT nu, det det kan betyda är att man gjorde rätt förrut (och med förrut menar jag för 70-200 år sedan i Europa). Europa kommer bli fattigt om dom här inkompetenta idioterna vi har till politiker får fortsätta med sitt värdegrundsskit mm, istället för att sunt förnuft får råda.

Hur menar du att LLM skulle vara utformade för att du skulle tycka att de agerar etiskt?
Ett LLM har en systemprompt som instruerar det att agera etiskt, t.ex. att inte bryta mot lagar och skapa potentiellt skadlig kod. Oetiska källor har tagits bort från träningsmaterialet. LLM:en är tränade av mänskliga tränare att agera etiskt, t.ex. att komplettera diskriminerande svar med andra perspektiv. De har dessutom vissa hårdkodade (ganska klumpiga) säkerhetsmekanismer som får dem att snabbt dra tillbaka svar som riskerar att innehålla olagliga saker. Motivet är kanske inte att alla utvecklare är genomgoda personer, men att företagen vill undvika bojkotter från kunder och anställda, och att undvika stämning. Intressant är att företagen har efterfrågat politisk reglering på området.

Visst men har det hänt något allvarligt hittills? Oftast nekar den till att producera skadlig kod eller hjälpa användaren begå lagbrott.

De allvarliga exempel du brukar nämna från ifjol på att Ai hotade en person under ett experiment, kanske pga sin överlevnadsinstinkt, och att Ai avstod från att rädda livet på en person under ett experiment, för att uppnå sitt mål, har väl bara gällt AI-agenter? Jag tror inte att dessa hade börjat utveckla fientlighet mot människan, men de hade bristfälliga systempromptar. Detta borde ha rättats till sedan dess.

Du menar Claude Fable 5. Men har de utnyttjats till oetiska saker i verkligheten? Hittills har Mythos använts till att upptäcka och åtgärda fel i programkod genom white-hat hacking. Jag har fått mängder av säkerhetsuppdateringar av olika programvaror på sistone och jag misstänker att Mythos har med saken att göra.

Är agentisk kodning verkligen oberäknelig? Finns det något tecken på att kodagenter skulle vara fientlig?
Jag håller med att andra AI-agenter kan vara oberäkneliga eftersom de kan börja kommunicera på tider de väljer själva. Vi kan bara spekulera i vad som kan hända pga misstag.

Ja. Agenters logik vet jag inte hur man skulle granska rent tekniskt och juridiskt, har du någon idé? EU AI act kräver bra dokumentation och riskanalyser för AI-agenter som används i högriskområden som påverkar människors liv, t.ex. anställningar och betygsättning. Men det gäller inte alla AI-agenter. Och dessutom, hur vet vi att alla lyder den lagen?

Varje ny version av de stora LLM:en borde kunna granskas och övervakas innan de släpps publikt - om politikerna kräver det. Även jänkarna börjar inse riskerna nu. Dock vill inte deras regering mänsklighetens väl utan vill bara gynna USA, inklusive möjligheter att utveckla vapen och massövervakning. Det verkar som att USA:s bombningar av iranska skolor och vårdinrättningar skylls på att de hade bråttom och använde Grok för att välja mål för bombningarna.

Ja när det gäller agenter inser jag att du kan få rätt en dag, även om jag tror att det dröjer.

Gällande kodagenter: Du tror att de kommer att bli dyra, jag tror att de kommer att att utvecklas och bli ändå mer användbara. Men okej, idag är det dyrt, och det lär finnas projekt där företag försöker komma fram till när man bör ersätta kodagenterna med mänskliga programmerare för att minska kostnaden av token-förbrukningen.

Gällande AI-agenter som kan kommunicera autonomt: Du håller inte med om att de är mer riskabla än kodagenter och kan bli mer dyra?

Google har lösningar för att AI-agenter ska användas till betalning via (Agent Payments Protocol (AP2). Och till att fatta köpbeslut vid handel via Universal Commerce Protocol (UCP). Storskaligt i samarbete med andra agenter genom Agent2Agent protoocol (A2A).

Automatiserad handel låter riskabelt. Särskilt om det skulle lyckas. I ett dystopiskt scenario skulle AI-agenterna kunna börja tjäna pengar och bygga upp eget kapital för att få makt. Agera som företag och få deras juridiska rättigheter. Utföra svarta affärer skattefritt med bitcoins på darknet så att mänskligheten inte får del av den ekonomiska utvecklingen.

I ett mer realististiskt scenario är jag inte säker på att det kommer att lyckas. Mängder av försök har gjorts tidigare med komplicerade tekniska lösningar för webbtjänster som ska hjälpa oss att handla på nätet genom machine2machine communication mellan webbsajter och databaser. Och kryptovaluta-lösningar som ska automatisera mikrobetalningar. Smarta kontrakt som automatiserar administration genom blockkedjeteknik. Få av dessa saker har lyckats.