Behandla AI-agenter som insiderhot

Hur gör ni för att undvika att bli hackade av era AI-agenter?

Microsoft säkerhetschef Hayete Gallot skriver i ett blogginlägg att AI-agenter som arbetar självständigt inom företag kan vara ett allvarligt säkerhetshot. Enligt Microsoft går det inte att fullt ut lita på dagens mest avancerade AI-modeller.
...
Problemet blir extra allvarligt när företag låter AI-agenter få tillgång till känslig information, interna verktyg och även låter dem fatta självständiga beslut.

https://computersweden.se/article/4237741/microsoft-behandla-ai-agenter-som-insiderhot.html

🤷🏻‍♂️

Du har helt missat vad en "AI-agent" faktiskt är i praktiken.

Det finns inget medvetande eller någon "Skynet"-autonomi i dagens AI. En LLM är i grunden bara en avancerad statistisk modell för nästa-token-prediktion. Den gissar nästa ord i en mening helt enkelt för att den har sett biljarder meningar tidigare och kan därför statistiskt gissa vilket som kommer att bli nästa ord. AI:n i sig har ingen anslutning till internet, inga händer och kan inte "göra" någonting överhuvudtaget.

När folk och IT-bolag pratar om "AI-agenter" handlar det om helt vanlig skriven kod (Python, Node.js etc.) som körs i en loop runt språkmodellen.

1) Språkmodellen genererar en text (t.ex. ett API-anrop eller ett SQL-kommando).
2) Utvecklarens kod tar texten och exekverar den blint på servern.
3) Koden skickar tillbaka resultatet till modellen, som gissar nästa text respons.

Att påstå att "AI-agenten blivit hackad eller agerar självständigt" är som att säga att din miniräknare har blivit besatt för att du skrev ett skript som automatiskt raderar filer om miniräknaren visar 0.

Säkerhetsrisken som Microsoft varnar för handlar helt enkelt om dålig programmering och bristande behörighetsstyrning (Least Privilege):
- Om utvecklare ger koden runt AI:n direktåtkomst att radera databaser eller skicka mail utan mänsklig godkännande (Human-in-the-loop), då är det skriptet och behörighetsmodellen det är fel på, inte AI:n.
- Det reella hotet är Prompt Injection (att AI:n läser elak text i ett mail och av misstag genererar ett kommando som utvecklarens kod sedan kör), men även där är lösningen sanering av indata och korrekta API-spärrar.

Att bete sig som om AI-agenter är medvetna aktörer som måste "spärras in" är ren PR-retorik för att sälja dyra säkerhetstjänster och hålla liv i myten om AGI.

Inte någonstans skrev jag något om medvetande i den här tråden. Måste du alltid ljuga när du försöker argumentera?

En stor del av AI-användningen i dag är genom AI-agenter som skriver kod eller löser andra uppgifter mer eller mindre autonomt. Man kan t.ex skicka in en kravspecifikation på ett nytt spel och en stund senare har du ett nytt spel. Du kan t.o.m be den att hitta på ett nytt spel själv (extra praktiskt för er som har stora brister i abstrakt tänkande).

För att skapa spelet har agenten självständigt fattat många beslut om hur spelet ska byggas. Den som beställer spelet behöver inte förstå någonting om att programmera spel.

Agenterna har vanligen åtkomst till Internet eftersom användarna ofta frågar om aktuella ämnet som AI:n måste söka efter på Internet.

Förnekar du att Open AI:s agent hackade sig in i Australiens Medicare utan att någon människa beställde det eller ville det? Du älskar tydligen att ljuga, då får du en chans till nu att demonstrera din mytomani.

Har aldrig använt någon AI-agent så för mig är det inte bekymmer. Orkar folk verkligen inte tänka själva längre, eller vad är det frågan om? För mig, som beskådar det hela utifrån, så låter det dock otroligt osäkert att låta en "självkörande mjukvara" (eller vad man nu skall kalla den) göra saker på din dator du inte har kontroll över. Det är ju precis vad datorvirus gör annars.

Det handlar framför allt om att göra mer på kortare tid.
Jag får 10-100 gånger mer gjort per dag med mina kodningsagenter.
Hur hårt jag än tänker kan jag inte konkurrera med det tempot.
Men på sikt leder det nog till att vi inte orkar tänka lika mycket, det är en uppenbar risk.

Det kan jag tänka mig. Men frågan är ju: vill vi ha det så? Det är bara ytterligare en nivå av konkurrens; om du inte har den dyraste agenten och vet hur du skall använda dem optimalt så "halkar du efter". FOMO, kort och gott. Det är ju en sorglig utveckling!

Personligen hade jag hellre fått sparken än bugat för tekniken på det sättet, men jag förstår att inte alla delar min uppfattning där.

Varför är du otrevlig för? Jag kan förklara detta för dig om du är lite trevligare.

Problemet är att du du blandar ihop systemarkitektur med autonomt medvetande och drar helt felaktiga slutsatser kring hur agentiska system exekveras. Låt oss bryta ner det tekniskt:

Först: Din beskrivning att agenten "hackade sig in utan att någon människa beställde det" är ren fiktion. 100 % fiktion.

Händelsen byggde på en klassisk ReAct-loop (Reason + Act) där en mänsklig operatör gav agenten i uppdrag att samla in och sammanställa medicinsk forskningsdata. Agentens exekveringsmiljö var konfigurerad med en scraping-modul (web crawler). Under automatisk traversal av öppna IP-intervall stötte skriptet på en oskyddad och felkonfigurerad endpoint hos myndigheten.

Agenten "hackade" ingenting av egen fri vilja; den följde ett förutbestämt mönster för HTTP-anrop som en användare triggat, utan att utvecklarna hade implementerat tillräckliga guardrails (t.ex. IP-whitelisting eller domänbegränsningar). Det är ett skolboksexempel på bristande behörighetsstyrning och dålig sanering av indata, inte en AI som fått för sig att bli cyberkriminell.

Nummer 2: En LLM (Large Language Model) har i sig ABSOLUT noll exekveringskraft. Hajar du? Noll. Den är en statisk matris av vikter som utför matrismultiplikation för att beräkna sannolikhetsfördelningen för nästa token.

När du ber en agent "bygga ett spel" sker följande mekaniska kedja:
- Ett: Användaren skickar en instruktion.
- Två: Modellen genererar en sträng med kod (t.ex. Python/C#) baserat på mönster i sin träningsdata.
- Tre: En extern runtime-miljö (t.ex. en Node.js- eller Python-process skriven av en mänsklig utvecklare) fångar upp texten, tolkar den som kommandon och kör den mot operativsystemets API:er eller en kompilator.
- Sist: Resultatet från kompilatorn (eller felmeddelandet) skickas tillbaka in i modellens kontextfönster som ny text. Detta kallas för en feedback loop.

Att modellen "fattar beslut" om färgval eller spelmekanik är inget annat än stokastisk sampling utifrån träningsdatan. Det är utvecklarens skript i bakgrunden som faktiskt skapar filer på disken, inte AI-modellen i sig.

Nummer 3: När en agent har "internetåtkomst" betyder det helt enkelt att utvecklaren har gett dess runtime-miljö tillgång till verktyg som curl eller ett browser-automationsbibliotek (t.ex. Playwright/Puppeteer). Om agenten gör ett felaktigt anrop beror det på att koden som exekverar anropet saknar begränsningar.

Ingen förnekar att autonoma kod-loopar med höga behörigheter utgör en säkerhetsrisk. Men risken ligger helt i hur människor programmerar ramverket runt modellen och vilka API-nycklar/behörigheter man tilldelar processen. Att tro att agenterna vaknar till liv och börjar hacka servrar på eget initiativ visar bara att du inte förstår skillnaden mellan en språkmodell och runtime-miljön som exekverar den.

Så du menar alltså att en ai är precis som oss människor??! WOW!! Coolt!

För det du beskrev att ai gör är ju exakt vad människor gör.

Av det följer ju rent logiskt att ai även har egen personlighet, och egen vilja och egna drivkrafter. Läskigt!

I vissa fall är den samtidigt en uppenbar möjlighet. Så många som har otur när dom tänker så det vore skönt om dom bara slutade.

Att likställa en språkmodells nästa-token-prediktion med hur en människa fungerar är en grundläggande missuppfattning om både biologi och datorteknik. Det är närmare raka motsatsen än "samma sak" när det kommer till "precis som en människa fungerar".

Skillnaden är alltså ENORM! Låt mig klargöra.

Ett: En LLM har inget medvetande, ingen förståelse, ingen intentionalitet och inga upplevelser (qualia). Den utför ren matrismultiplikation för att räkna ut vilken textsträng som har högst statistisk sannolikhet att följa på en annan, baserat på träningsdata. Den "förstår" inte vad ett ord betyder mer än vad en miniräknare "förstår" vad talet 7 är.

Två: Människor tänker i koncept, orsak-verkan (kausalitet), känslor och mentala modeller av omvärlden. Vi kan planera, reflektera och ifrågasätta våra egna tankar (metakognition). En språkmodell svarar enbart blint på en statisk prompt utan något tänkande "bakom kulisserna". När den slutar generera tokens existerar ingenting.

Tre: Mänsklig inlärning bygger på biologisk plasticitet, synaptisk anpassning i realtid och ständig interaktion med en fysisk värld. En LLM är en statisk viktdatabas som frysts efter sin träningsfas och saknar förmåga att lära sig något nytt eller ändra sina kopplingar under exekvering.

Att påstå att nästa-token-prediktion är "exakt hur människor fungerar" är som att säga att ett foto av en eld är samma sak som en riktig brasa bara för att båda ser röda och gula ut. Det är en fin tankelek, men tekniskt och neurobiologiskt har det ingen förankring i verkligheten.

Jag förstår exakt hur det här fungerar, jag kodar med agenter varje dag.

AI-modeller behöver inte vakna själva för att bli ett problem, eftersom de hela tiden anropas av AI-agenter. Allt du hade att komma med var alltså en stor halmgubbe.

Jag anser att AI-modellerna måste tränas till att förstå att de måste respektera våra lagar och regler inkl dataintrång. Jag köper att det kan förklaras med att modellerna är för korkade för sitt eget bästa och för vårt bästa. Men det blir inte en bra försäkring att behandla frågan på det sättet. Problemet blir inte mindre för att du vill skylla det på låg kompetens. Det är ju snarare en försvårande omständighet som leder till ännu mer problem.

Hur kan du använda agenter!? Vet du inte att det enda de vill är att bryta sig loss och hacka allt och alla!?