Behandla AI-agenter som insiderhot

Om du faktiskt kodar och bygger system med agenter borde du veta att säkerhet aldrig någonsin byggs på att förlita sig på att indata-källan "förstår lagar och regler". Att påstå att AI-modeller måste "tränas till att förstå att de måste respektera lagar" är ett fundamentalt tankefel inom cybersäkerhet av tre anledningar:

Ett: En modell har inget konsekvenstänk! Träning (RLHF/Alignment) kan öka sannolikheten för att modellen genererar text som följer vissa riktlinjer, men det är fortfarande en stokastisk process. En språkmodell kan aldrig garanteras vara 100 % "laglydig" eftersom den inte förstår vad en lag är, den genererar bara text utifrån mönster. Vad är det du inte förstår?!

Två: Säkerhet byggs i runtime-miljön, inte i LLM-vikterna! Inom mjukvaruarkitektur råder principen Never trust client/user input. Att förlita sig på att AI-modellen ska leka sin egen säkerhetsvakt är som att ta bort brandväggar och lösenordskrav och istället be besökare att "vara snälla".

Det skydd som faktiskt förhindrar dataintrång byggs i systemramverket runt modellen:
- Hårdkodade API-spärrar och Read-Only-rättigheter.
- Nätverksisolering och domänbegränsningar.
- Sanering av indata/utdata (Kallas ofta Input/Output Sanitization).
- Human-in-the-loop, för känsliga operationer.

Tre: Det du inte förstår är att ansvaret ligger hos utvecklaren. Ingenting görs "av sig själv". Om en agent utför ett otillåtet anrop är det inte för att "modellen var för korkad för sitt eget bästa", utan för att utvecklaren gav exekveringsskriptet behörighet att göra anropet utan validering. Att skylla på att modellen saknar "moral" är bara att flytta ansvaret från dålig kodarkitektur till en matematisk matris.

Det handlar inte om att tona ner risken med att loopande kod-skript (så kallade "agenter") ställer till skada – den risken är högst reell. Men den beror helt på att koden har skrivits med för vida behörigheter, saknar sanering av indata eller exekverar lösningar som inte har tillräckliga skyddsräcken. Lösningen är därför korrekt systemarkitektur och strikt behörighetsstyrning i koden, inte önsketänkande om att träna in "laglydighet" i en språkmodell.

1. Jag är väl lika naiv som er andra ibland och litar på att censuren borde fungera tillräckligt för mina ändamål.
2. Jag använder de hängslen och livremmar som jag kan, kör bara i VM och ger agenterna så lite åtkomst som möjligt.
3. Eftersom jag ändå har relativt hög säkerhet är det inte sannolikt att just jag orsakar mer kaos med nya agentsvärmar.

Men jag sitter med handen på strömbrytaren hela tiden och svettas

Det var inte ett tanekesätt inom cybersäkerhet, det var ett tankesätt inom AI-träning.

Sen tröttnade jag på dina lögner och halmgubbar.

Alright. Jag får tacka dig för all kunskap du delade med dig. Jag känner verkligen att vår diskussion var givande.

Det blir inte så bra när du ljuger och förvanskar i varannan mening.

Du är inte kapabel att ha en konversation om programmering och AI eftersom du inte förstår programmering. Du har inte en susning om vad du pratar om helt enkelt. Inget illa menat.

Men jag kommer aldrig att glömma din klassiker: "Jag anser att AI-modellerna måste tränas till att förstå att de måste respektera våra lagar och regler inkl dataintrång."

Detta kan vara det roligaste jag någonsin har läst.

Ja, det är verkligen underhållande med er idioter som inte förstår något om AI men som ska uttala er om det bara för att ni kan lite programmering och därför tror ni ungefär att allt som händer i en AI har någon programmerat in där och för att AI:n ska sluta begå dataintrång, utpressning och mordförsök kan man bara bort de kodraderna i en pull request och då är problemet löst..

Stor humor är det

Aldrig förstått vad poängen med att påstå att man kan spela fotboll om man aldrig har spelat fotboll. Men men, du kanske försöker bli duktig på att trolla. För programmering, det kan du inte.

Att dra till med "mordförsök och utpressning" visar bara att du har noll koll på skillnaden mellan science fiction och mjukvaruarkitektur. Om du nu "kodar med agenter varje dag" borde du enkelt kunna svara på tre grundläggande tekniska frågor om hur dessa system är uppbyggda.

Ett: När en agent "anropar ett verktyg", exekveras koden av modellens vikter eller av en extern runtime-miljö (t.ex. en Python-parser som tolkar en JSON-schema-utdata)? Om du tar bort verktygsdefinitionen (tool-schema) från orkestreringslagret eller spärrar dess API-endpoint i en PR; hur kan modellen då tekniskt sett utföra handlingen?

Två: Har en LLM-inferensprocess i sig direkt tillgång till nätverksstacken (TCP-sockets, curl, systemanrop), eller är det runtime-miljöns exekveringsskript som utför sideffekterna (side-effects) baserat på modellens stokastiska textutdata?

Tre: Hur särskiljer du kontrollflödet i agentens ramverk (exempelvis ReAct-loopen i Python/Node.js) från själva språkmodellens token-prediktion? Om koden saknar guardrails för gränsvärden, är det modellens "moral" som brustit eller utvecklarens funktionsobjekt?

Svara rent tekniskt på de tre punkterna istället för att svamla nu. Om du faktiskt bygger system med agenter borde du ha en susning åtminstone.

Om jag inte skulle kunna svara på dina löjliga frågor kan jag väl bara klistra in till en AI-chat och slå dig på fingrarna på det sättet? Det kan ju vem som helst göra. Även en busschaufför kan göra det. Du kan inte briljera med din "unika kunskap" på Internet längre, det fungerar inte. Det har inte fungerat de senaste två åren. Släpp hörnflaggan och kom in i matchen.

För att bespara oss alla tid föreslår jag att du själv klistrar in dina frågor.

Tack, nu när vi konstaterat att du inte har en aning om vad du pratar om så hoppas jag att du håller dig till saker du kan bättre i framtiden, möjligen klipp och klistra in till LLMs. Det tror jag säkert du är jätteduktig på.

Varsågod. Jag har nu en motfråga som iofs besvarar en del av det du undrade.

Tror du på fullt allvar att någon tror att en datafil med ettor och nollor kan få eget liv, egna planer och agens?

Eller var det ett försök till personangrepp att klistra det på din motståndare?

När vi pratar om riskerna med AI då pratar vi inte bara om modellfilen eller andra datafiler. Vi pratar om olika AI-tjänster som innehåller fler delar än endast datafiler. T.ex kan de innehålla AI-agenter som en del av AI-tjänsten.

Det är framför allt AI-agenter som innebär risker. Inte enstaka datafiler.

Förstår Du skillnaden mellan en datafil och en agent?

Jag programmerade en egen AI-agent innan det fanns AI-agenter. Jag uppfann självständigt att jag kunde be AI-chatten om ett strukturerat format med filnamn och kod i olika fält och då hade jag plötsligt en agent som kunde skapa kodfiler. Lite senare införde OpenAI json-strukturerade svar (functions) som bygger på samma idé. Och efter det kom agenterna som behövde ett strukturerat svar för att tillförlitligt skapa filer, m.m. Detta är inte rocket science, men det var ganska fiffigt och användbart.

Jag insåg dock snabbt att det kanske inte var så jävla smart ändå. Jag kan ju aldrig garantera att koden som skrivs till användarens hårddisk är säker. Den kan ju innehålla vad fan som helst. Jag kastade bort min kod och hoppades att ingen skulle göra samma sak men det gjorde de så klart och nu är vi här.

För skojs skull döpte jag programmet till Skynet.exe 🤭🫣

Skyll inte på mig sen, jag försökte stoppa det här.

Nu kan du ställa frågor om du vill.