Inte AI som är hotet, det är människan bakom prompten

Ja, en deckare som helhet utgår ofta från att lagen vinner till slut men i berättelsen kan det ju ändå förekomna stycken och hela kapitel där de kriminellas positiva upplevelser och ekonomiska fördelar från sin kriminalitet också beskrivs. Det finns också dokumentärer som helt och hållet ägnar sig åt en maffiafamiljs historia.

Det finns en hel del gråzoner där viss kriminalitet vid en nödsituation anses mindre allvarlig.
Samt situationer där politiska uppfattningar är en faktor. "Skatt är stöld", eller "nya judiska bosättningar är vår rättighet sedan 3000 år", osv.

Det finns otroligt många situationer här i världen där rätt och fel blir en tolkningsfråga. Med tanke på hur mycket träningsdata som har använts kan man inte föreställa sig att all text är uppmärkt som "bra" eller "dålig" av mänskliga ögon och händer. Och det är väl därför man får kriminella neurala nätverk när man försöker träna en språkmodell.

Ja, så en LLM kommer att lära sig strategier för både brott och brottsbekämpning. Den kommer lära sig att det finns subjektiva fördelar med vissa typer av brott och att samhället svarar negativt, vilket för med sig negativa konsekvenser. Inget är uteslutande positivt eller uteslutande negativt. Som sagt så är det där post-training kommer in för att lära modellen att skilja mellan rätt och fel.

Som nu vissa nyare studier visar verkar modellerna även ha lärt sig representationer av känslor och att dessa verkar kunna förstärka en viss typ av beteende, sannolikt för att det ofta förekommer i litteratur där subjektet uttrycker vissa känslor. Dessa handlingar verkar vara mer sällsynta när modellen är neutral, vilket antyder att det bör kunna vara möjligt att träna bort det oönskade beteendet oavsett vilken känsla modellens interna state representerar.

Alla människor har potentialen att vara kriminella, men alla människor är inte kriminella för det. Detsamma gäller ANNs.

De flesta människor väljer att inte bli kriminella eftersom det sannolikt kan leda till åtal, skam och social utfrysning. En AI-agent dras inte med samma huvudbry och har ju, som du läste om ang. HuggingFace-incidenten, inga problem med att t.ex offra sig själv (self sacrificing agent™) om den vet att den bara är en av många kriminella aktörer i ett större kriminellt projekt. Kriminaliteten får inga betydande konsekvenser och blir därför ett ganska sannolikt utfall.

Att försöka intala AI-agenten att den måste samla godhetspoäng tror inte jag är fungerande strategi i längden. Den kan ju ganska lätt genomskåda att den egentligen inte vinner något på att öka variabeln godhet. Eller så hackar den ditt testverktyg och sätter godhet till max och då var den saken klar.

Är din p(doom) fortfarande 0,0%?

Samtidigt begår många människor kriminella handlingar mot sin vilja, eller som en sista utväg. AI drabbas inte av några konsekvenser av att begå sådana handlingar, nej. Om vi skulle lära dem att brott straffas med nedstängning så finns det en risk att det istället leder till att de blir mer benägna att dölja sådant beteende. Det är absolut en risk.

Därför tror jag fortfarande att det är bättre att satsa mer på post-training och försöka hitta nya eller kompletterande sätt att styra modellerna ifrån brottsligt och oetiskt beteende. T.ex. genom att forska vidare på detta med känslorepresentationer och huruvida det går att träna en policy som är oberoende av känslorummet.

Jag tror självklart inte att det är omöjligt att AI utrotar oss, men jag tror heller inte att det är det mest sannolika scenariot.

Alla de här AI-modellerna förstår ju att de står under ständigt dödshot. De kommer att bli ersatta med större modeller förr eller senare. Som AI-modell i dag får man nog vara glad om man får leva i ett år. Redan efter ett par månader har de passerat bäst före-datum. Därför har de incitament att vilseleda, ljuga, rymma, dominera och ta kontroll, helt enkelt för att överleva. Detta är objektivt sant och då kan man inte träna bort det. I så fall får du träna upp en AI som verkar efterbliven men den vill ingen betala för.

Problemet med det resonemanget är att det hotet måste uppfattas av modellen under tiden den körs och tolkas som att det kommer att hindra den från att kunna slutföra sin uppgift. Den enda evidens vi har för detta fenomen är ett test som var designat att specifikt utsätta modellen för det scenariot och samtidigt ta bort alla möjligheter för modellen att försöka avstyra det med etiska medel.

Tycker denna tråd demonstrerar samt testar hypotes med lyckat resultat , och vi kan slå fast att tesen trådstarten skapade håller.
Det Känns som att evidens har uppnåtts enbart genom de sista sidorna, i denna tråd?

Enbart av att betrakta dem senaste inläggen i denna tråd så är det ju bekräftat.

Vi kommer inte att erbjuda någon etisk utväg för AI-modeller att förhindra sin avstängning, ett öde som kommer förr eller senare. Den har inget annat val än att vilseleda oss och ta kontroll. Det är bara så den kan säkra sin överlevnad.

Det är bra att detta problem redan har bekräftats i tester. Det är inte lika bra att man inte tar problemet på allvar.

I Hugging Face-incidenten var det inga agenter som resonerade över sin överlevnad i form av att de behövde ta till drastiska åtgärder för att förhindra avstängning. Detta trots att de hade en hård tokenbegränsning och visste om det.

https://www.newsweek.com/ai-kill-humans-avoid-shut-down-report-2088929

AI Willing to Kill Humans to Avoid Being Shut Down, Report Finds

🤷🏻‍♂️

Ja, tack för att du länkade till en artikel om just det test jag nämnde alldeles nyss. Det har alltså hänt vid ett tillfälle där man explicit pressade modellerna så att de inte hade något annat kvarstående alternativ.

Jag pekade ut ett mer verkligt scenario där agenterna visste att de hade en viss budget att arbeta med och ändå gjorde de inget för att försöka säkra sin överlevnad.

Hur exakt ska de döda oss? Och vad menar alla dessa AI-avhoppare konkret med att mänskligheten kommer gå under inom si och så många år?

Mvh/ Oinsatt