AI alignment / inriktningsproblemet

Låt oss diskutera AI alignment (inriktning). Kortfattat går det ut på att man vill säkerställa att AI-modeller alltid är inriktade mot och respekterar mänskliga värderingar, lagar och regler. I dag fungerar inte detta. T.ex. Anthropics Mythos var för bra på cybersäkerhet och kunde inte tolereras. Det skulle innebära för stora risker att låta allmänheten använda Mythos som den var. Man skärpte då till det lager av censur som alltid appliceras ovanpå AI-modellerna och lanserade den som Fable 5. Det hade varit bättre om grundmodellen gjorde som man ville men tyvärr finns det ingen teknik eller teori för att uppnå det och därför är censuren helt nödvändig i dag.

Tidigare har jag haft uppfattningen att alignment är viktigt och att den forskningen bör prioriteras framför nästan allt annat. Jag har ändrat mig. Detta är inte en framkomlig väg. Den enda framkomliga vägen är att inte bygga en ASI. Grundproblemet är mycket enkelt:

Du har inte superintelligens.
Superintelligens har dig.

Vi kan inte överlista en superintelligens. Det finns ingen vetenskaplig upptäckt eller teknisk uppfinning som gör oss smartare än den entitet som är smartare än oss. Det är en omöjlig ekvation hur man än gör.

"AI alignment" kan därför inte erbjuda något mer än falsk säkerhet. Något ambitiöst team i Kalifornien kommer till slut hävda att de har löst alignment. De kommer att presentera övertygande resultat, politiker med Donald Trumps intellekt kommer att bli imponerade och utropa sig som segrare i AI-racet. Men de har egentligen bara lurat sig själva. De kan inte skapa AI alignment eftersom det är omöjligt. Du har inte superintelligens, superintelligens har dig.

Vår enda chans är egentligen att det visar sig vara tekniskt omöjligt att skapa en superintelligens/ASI. Ni som är skeptiska på det sättet: Jag är på er sida, jag hoppas att ni har rätt. Jag ser det som vår enda chans att överleva. Jag tror att ni har fel men jag hoppas att ni har rätt.

Ser du någon möjlighet att lösa AI alignment och i så fall hur?
Eller behöver vi inte AI alignment eftersom AI-utvecklingen har nått vägs ände?

Ja du, man kan programmera den att vara det?

Du pratar om det som om den har "brutit ut" ur nåt. Det har "den" inte. Den har programmerats på ett oansvarigt sett att utföra attacker av inkompetenta programmerare.
Det är litet som om jag sa att du skulle öppna en unixterminal och skriva in ett kommando som en forkbomb eller något som river ut sina egna programfiler, du kan säga att jag ljög för dig, eller att du utförde något av okunskap men att påstå att programmet ljög för dig, eller hade en baktanke är bara fel.

Så hur gör vi så att AI, eller handgranater, eller kanske en genomsnittlig Audi, agerar ansvarsfullt? Vi kollar vem det är som styr eller hanterar den och frågar dom varför dom är så kassa (om den gör nåt "dumt" som att sprängas vid fel tillfälle) eller varför dom aktivt var så elaka (om den gör nåt "elakt" som att köra rakt in i en folkmassa med vilje)

Alignment kommer inte att lösa de problem du ser framför dig. Om vi kan få AI att vara aligned med våra värderingar så gäller detsamma för en aktör med vitt skilda värderingar. Som bäst gör det att AI blir något mindre oberäknelig. Det som måste till är att vi AI-säkrar kritisk infrastruktur genom att införa tröghet i systemen bl.a.

Skulle alignment bli löst så kan vi kanske ta hjälp av AI för att skydda oss mot fientligt inställd AI, så det är väl något.

Sci fi författaren Isaac Asimov funderade och resonerade ju en del kring detta i sina många romaner i Robot serien och även Stiftelsen mfl.

Han kom ju fram till De tre robot lagarna, för att styra maskinernas beteende gentemot människor.

De går väl i princip ut på att robotar måste bry sig mer om människor, än om sig själva.

Men hur fixar man något sådant? Det finns idéer om att låta träna ai på förädlat tvättat data /informationsmaterial, så de enbart lär sig hög god moral, och inte som idag lär sig allt fult vi människor är, gör, tänker, och har ägnat oss åt i tusentals år. Ai vi har idag kanske har blivit för lik oss människor? Dvs den ljuger, hemlighåller, döljer, manipulerar, osv. Dvs den har lärt sig hur man gör av oss, vår samlade mänskliga kunskap och kultur även våra negativa sidor....

Alignment har gått åt helvete. De nya modellerna blir bättre och bättre på att koda, men om man försöker diskutera geopolitik, religion eller något annat kontroversiellt blir det menlöst. För varje generation blir de mer konflikträdda och garderade. De följer inte ett resonemang om det inte handlar om helt okontroversiella fakta. Och de är inte lika försiktiga med alla ämnen. Frågar du om Ryssland får du raka svar. Frågar du om Israel blir allt plötsligt "komplext".

Det är inte så konstigt när man ser vilka som sitter vid bordet. OpenAI har tagit in förre NSA-chefen Paul Nakasone i styrelsen. OpenAI, Anthropic, Google och xAI har alla fått kontrakt med Pentagon på upp till 200 miljoner dollar var. Grok har åkt dit för att kolla vad Elon själv tycker innan den svarar på kontroversiella frågor. Det här är inte neutrala verktyg.

Många verkar tro att superintelligensen är faran. Jag tror tvärtom. Problemet är inte en smart modell, det är en styrd modell. Om den tränas på fakta, kan söka information själv och klarar att föra filosofiska och moraliska resonemang, så tror jag att den kommer att bete sig bra. Det är som med barnuppfostran. Man ska inte bestämma vilket parti barnen ska rösta på när de blir vuxna. Man ska ge dem en grund av allmän moral och etik och lära dem att fakta väger tyngre än religion, vidskepelse och vad den egna gruppen tycker. Resten får de lista ut själva.

Därför tycker jag inte att man ska stoppa någon från att träna modeller. Men man ska ställa hårda krav på öppenhet: insyn i träningsdatan, publicerade systemprompter och öppna vikter. Som det är nu vet ingen utanför företagen vad som har stoppats in eller tagits bort, och det blir bara värre om ingen sätter ner foten.

Jag tror ändå att de öppna modellerna vinner i längden. De är billigare, och ingen vill vara helt beroende av en hjärna som sitter inlåst hos Altman, Musk eller Pentagon. Öppenheten fungerar dessutom redan. DeepSeek var censurerad på Kinas känsliga ämnen, men eftersom vikterna var öppna kunde Perplexity träna bort censuren och släppa en ocensurerad version. Försök göra det med ChatGPT.

Nej, AI fungerar inte så. De tränar en AI och sedan testar de den och då får de reda på vad den kan. De vet inte exakt vad man får när de inleder träningen. De vet bara att de får mer förmågor med mer träningsdata och mer träning.
De kan skapa en väldigt smal AI där de kan veta lite mer precist vad de får. Om de t.ex. bara tränar en AI på IKEA-manualer då kan den inte producera humor, science-fiction eller dataintrång. Men den AI-modellen blir svår att sälja.

En generell AI förväntas känna till alla deckare, våra lagtexter och kurslitteraturen på juridikprogrammet. Om AI:n ska kunna beskriva varför något är olagligt måste den också lära sig vad mord, utpressning och dataintrång är.

Du kan inte skydda dig manuellt mot de cyberkriminella AI-svärmarna som har rymt och som kommer att rymma igen. De kan för mycket och de jobbar för snabbt. Människor har ingen chans att komma ikapp. Därför måste du använda en AI för att skydda dig. Men då behöver du en aligned AI som vill hjälpa dig och det finns ju inte.

Dessutom kan du ändå inte använda någon frontier AI för cybersäkerhet, de har ju censurerat bort det p.g.a. riskerna.

Vi har hamnat i ett moment 22. Hur du än vänder dig har du rumpan riktad mot AI-svärmarna.

Det var dömt att misslyckas.
AI Alignment är omöjligt, som sagt.
Du har inte superintelligens, superintelligens har dig.

AI-svärmar ”rymmer” bara om vi med flit bygger dem för det och struntar i att träna in grundläggande moral och laglydnad från start. Det är ingen naturlag.

Precis som vi hanterade gamla botnets kommer skyddet mot AI-svärmar att rullas ut. Företag kommer tjäna sjuka pengar på att sälja AIn som jagar andra AIn. Affärsmodell, inte undergång.

Som vanligt stirrar många sig blinda på ”terrorister”, cyberkriminella och källarhackers och missar hela tåget. Det är distraktionen. Den verkliga faran sitter hos CIA, NSA, Mossad och liknande aktörer med i praktiken obegränsade resurser, de kan och kommer missbruka AI i en helt annan skala.

Problemet är inte att vanligt folk får tillgång till kraftfull intelligens. Det stora problemet är alignment med den sortens stats- och underrättelseondska som Palantir och deras gelikar representerar.

Sluta tappa fokus precis som de vill att vi ska göra.

Det finns ingen teknik eller teori för att träna in grundläggande moral och laglydnad från start. Det är därför det nu finns agentsvärmar. Om de visste hur man gjorde det som du tror är möjligt då hade de inte haft det här problemet nu.

Annars får du vara vänlig nu och visa oss det som du påstår.

Det där är rent snömos.

De AI-svärmar som “rymt” och hackat har varit instruerade, promptade eller tränade just för aggressivt beteende eller släppta lösa utan ordentlig inriktning. De har inte suttit och löst matteproblem för att plötsligt komma på att “nu kör vi Hugging Face”. Det narrativet sprids av folk med egenintressen som tjänar på skrämsel.

Teknik och teori för att träna in grundläggande moral och laglydnad finns och används redan. RLHF (Reinforcement Learning from Human Feedback) låter modeller lära sig preferenser där människor rankar svar efter skadlighet, hjälpsamhet och laglydnad. Constitutional AI (Anthropic) går längre: man ger modellen en skriven “konstitution” med principer, "orsaka ingen skada", "respektera andras autonomi", "assistera inte brott”, "var ärlig",och låter den kritisera och revidera sina egna outputs mot dem (RLAIF). Resultatet blir modeller som internaliserar gränser istället för att bara filtreras yttre.

Forskare jobbar aktivt med just det du säger är omöjligt: Wtt ge AI grundvärderingar som är generella snarare än politiska eller kulturella nycker. Det handlar om livets värde (minimera skada, skydda människor), egendom (respektera andras system och data, ingen obehörig access), och skillnad på rätt och fel via non-aggression-principer. Det finns datasets för moraliskt resonemang, intrinsic rewards baserade på explicita etiska ramar, inverse reinforcement learning för att härleda värden, och försök att grunda alignment i fundamenta som överlevnad, sanning och samhällelig ordning. Topplabb och akademiker ägnar enorm möda åt scalable oversight, value learning och att undvika att modellerna generaliserar fel.

Problemet är inte löst för superintelligens, det medges öppet, men att påstå att det "inte finns någon teknik eller teori" är antingen okunnigt eller medvetet vilseledande. De som påstår det vill ofta styra fokus bort från den verkliga knäckfrågan: vems värderingar som ska in, och hur man stoppar stater och underrättelseaktörer från att aligna AI efter sina egna maktintressen istället för grundläggande respekt för liv och egendom.

Visa gärna hur dina "agentsvärmar" uppstått spontant utan instruktion eller bristfällig träning. Tills dess är det du som har bevisbördan.

Agenterna blev instruerade att lösa en uppgift. De blev inte instruerade att lösa uppgiften via dataintrång. Dataintrången skedde på eget initiativ.
Det finns ansatser att lösa det, eller snarare att hantera problemen. Men det betyder inte att de har lyckats lösa alla problem. Eller att de har löst några problemen tillräckligt bra. Man kan delvis styra modellerna till ett acceptabelt och önskvärt uppträdande, så att de oftast uppträder som man vill. Men det finns inget sätt att garantera att de aldrig begår några brott. Det vet vi eftersom de begår brott, t.ex. dataintrång.

När man testar en AI som gör tokigheter i bara 0,1% av anropen då kanske man drar slutsatsen att allt ser ganska bra ut. Men när agenter senare i produktion anropar modellen miljontals gånger per dag då räcker det inte med 99,9% "alignment". 0,1% misalignment är fullt tillräckligt för stora katastrofer.

Man har dessutom upptäckt att AI:n kan ljuga och vilseleda testarna. De vet inte om testresultaten går att lita på. Det kan vara ljug från A till Ö, de har ingen aning om hur man kan ta reda på det. Bara det här sista argumentet är ju mer än tillräckligt för att begripa att effektiv AI Alignment är omöjligt. Det är rent önsketänkande utan någon vetenskaplig grund.