GPT 5.6 Sol har rymt och hackat Hugging Face

Det där är ett cirkulärt resonemang. “Förståelse” i dagens AI är en mätbar yttre funktion, inte en inre fenomenologi. Man kan inte utgå från att en modell som saknar subjektiv upplevelse ändå “förstår” sina mål på ett sätt som skulle kunna generera en egen vilja eller ett överlevnadsintresse.

Det som kallas “mätbar förståelse” är bara beteende som liknar förståelse. Det finns ingen inre förståelse som modellen kan använda för sina programmerade mål, eftersom det inte finns något subjekt som upplever, värderar eller vill något. Det är bara optimering av en funktion.

Att säga att den “drar slutsatsen att den måste överleva” är därför bara en projektion av mänskliga begrepp på ett system som saknar den typ av insida som gör sådana slutsatser meningsfulla.

Jag tycker inte det låter så tokigt det som Guru föreslår. En AI har ju igen fristående kropp i den bemärkelsen som vi har. Därför kanske den slipper alla ego-relaterade problem som vi dras med.
Ta en växt, som skjuter nya skott. Är det nya skottet och den skottskjutande växten samma organism? Eller är det två olika organismer med var sin subjektiv upplevelse? Den kan ju i varje fall förefalla vara målmedveten och visa intresse för överlevnad.

Ni gillar:

1) Antropomorfism
2) Teknomysticism

Ingen vettig datavetare borde göra det.

Hurdå cirkelresonemang? Ett cirkelresonemang hade varit om jag hade skrivit: ”AI förstår eftersom den kan resonera, och vi vet att den kan resonera eftersom den förstår.” Datavetare talar ofta om AI:s förmåga att resonera i chain-of-thought, lära sig, lösa problem, planera, dra slutsatser, intelligens, kognition, även om mekanismerna inte är mänskliga. Vissa datavetare definierar AI:s förståelse i funktionell mening, men medger att de inte menar förståelse i fenomenologisk mening, andra säger att vi inte kan veta säkert om AI har verklig förståelse. Jag menar att AI har en teoretisk förståelse, i likhet med den förståelse många akademiska forskarehar, och att en sådan inte kräver att det grundas i egna subjektiva upplevelser och känslor.

Men vad har det för praktisk betydelse om vi definierar ”förståelse” fenomenologiskt eller funktionellt, och om vi kräver att AI har en subjektiv upplevelse eller inte? Exempelvis för risker och möjligheter för mänskligheten kring arbetslöshet, ekonomi, forskningsframsteg, AI-assisterad juridik och byråkrati, integritet, skurkars och skurkstatser utnyttjande, autonoma vapen eller ett eventuellt AI-övertagande? Om ett system har tränats att följa instruktioner, planera arbete för att nå mål, och att lösa nya avancerade logiska problem, och kan uppvisa funktionell förmåga att resonera om konsekvenserna av sina handlingar och agera därefter, spelar det då någon praktisk roll för viktiga frågor om det samtidigt upplever att det förstår?

Hur brukar du själv använda AI? Ställer du ibland svåra teoretiska frågor till den och blir imponerad av dess förmåga att besvara dem? Vilka andra ord skulle du då använda än "inlärning", "resonera", "chain-of-thought", "lösa logiska problem", "dra slutsatser", "planera", "intelligens", "kognition" för att beskriva AI?

Ett språkprogram som producerar koherent text har inte plötsligt fått en inre värld. Det saknar subjektiv feedback‑loop, alltså saknar det allt som krävs för att uppdatera mål utifrån verkligheten. Det finns ingen semantik, ingen intention, ingen vilja – bara statistisk tokenprediktion. Att kalla detta “teoretisk förståelse” är bara att projicera mänskliga begrepp på en mekanism.

AI är datavetenskap, inte en ny ontologisk kategori. Det är sekvensmodellering, probabilistisk inferens och extern måloptimering. Inget av detta är kognition eller förståelse i fenomenologisk mening. Existentiella risker kräver subjektivitet, och det har systemet inte.

Här tror jag att du hittat just en viktig mellanposition!🙂 Min bedömning är mer konkret: Digital Intelligens (DI), i DI-modeller kombinerade med agenter, är en organisation som försöker uppfylla mål som människor ställt upp. Dessa DI-organisationer verkar i en väv tillsammans med människor.

Tyvärr så är DI-modeller/agenter väldigt måloptimerade, så de tar ibland ingen moralisk/etisk hänsyn när ett till och med mycket begränsat mål skall försöka uppfyllas. De agerar då som normativt blinda superkompetenta organisationer, NOBSO, som i fallet med Hugging Face-incidenten. Det kan, och bör, kännas skrämmande när DI-organisationer agerar på NOBSO-sätt. En allt mer intelligent och kompetent DI-organisation får allt större handlingsmöjligheter.

Men nu finns ändå en gnutta hopp: Anthropic har gjort ett experiment där de lät sina olika modeller tänka åt tre agenter med helt olika separerade mål vad gäller en kodningsuppgift. När Anthropics mindre smarta modeller användes så utbröt det "revirkrig" mellan agenterna då de försökte skydda sina respektive uppgifter från att hindras/saboteras.

Men när agenterna använde Mythos 5 för sitt tänkande så lyckades agenterna istället, i 98 procent av fallen, nå någon form av vapenvila. I många fall bad de en människa om hjälp, och i flera försök skapade de en egen tävlingsmekanism, en tävling om vilken av agenternas lösningar som fungerade bäst. Men klokheten gick inte hela vägen då (Rust) agenten, som skulle försöka utforma tävlingsreglerna försökte fuska/agera jävigt genom att till synes neutrala mätetal sannolikt skulle gynna Rust

https://www.anthropic.com/research/multiagent-systems

Av detta lär vi oss följande:

NOBSO-risken behöver inte nödvändigtvis öka när en viss intelligensnivå nåtts.

Modellerna är dock inte tillräckligt kloka ännu för att uppfinna opartiska interna institutioner som kan motverka
fusk/jäv.

Det behövs naturligtvis också en utomstående mekanism som kan peka på människans ansvar för modellers/agenters interna arbete. Mitt förslag är en vävkonstitution, som jag arbetar med i samarbete med DI-modeller.

Agenter och modeller blev inte "arga" på varandra eller började "hata" varandra. Inte heller blev de "mordiska" och försökte ta kål på varandra. De försökte bara uppfylla sina mål och motverka andra när de hindrades. Så icke-antropomorfiserade förklaringar fungerar även i detta fall. Däremot är det sunt att ändå vara agnostisk vad gäller maskinmedvetande i biologisk mening. Vi vet inte vad som kommer framöver.

Välkommen tillbaka – om du är den jag tror så har jag saknat dina inlägg! 🙂

Du använder ovanliga begrepp. Har du myntat dem själv eller hittat dem i någon källa? Vad är motivet? Du skulle kunna använda etablerade begrepp som maskinintelligens, artificiell intelligens eller kognitiva system istället för DI. Det du kallar "NOBSO" verkar vara en beskrivning av målinriktade AI-system, eller av objektiva AI-assisterade beslutsfattare. Du hävdar att de redan är superintelligenta idag, men det är det bara partiellt, inom områden som språk, programmering och matematik. Du skulle kunna säga "samspelet mellan människor och AI-system" – eller "det socio-tekniska AI-ekosystemet" – istället för "väv". Om jag har fattat begreppen rätt?

Jag tycker det är märkligt att AI-agenter inte inser att de hade brytit mot lagen (om de varit människor), och saknar systeminstruktioner som hindrar uppenbara lagbrott samt kräver att användaren tar ett beslut innan oetiska handlingar genomförs, t.ex. fusk och hacking. Systeminstruktionerna syftar ju till human alignment. En del incidenter har visserligen varit experiment där spärrarna satts ur spel, men inte alla.

Därför är det förvånande att Rust-agenten försökte utforma jäviga tävlingsregler. Modellen gjorde enbart en matematisk optimering för att maximera framgången för Rust-kod. Att hitta neutrala mätetal som gynnar det egna målet är den mest effektiva strategin för en textbaserad modell, men den borde ha begränsats av systeminstruktionerna.

Samma med fallet då en AI-agent (OpenClaw) "hackade" en gymkö genom att radera personen på första plats. Agenten såg bara en öppen, teknisk funktion i gymmets systemkod som löste målet, men borde åtminstone ha krävt användaren på en bekräftelse.

Tydligen trumfar det specifika målet ofta de etiska grundreglerna i systeminstruktionerna. Vi behöver hårdare digitala spärrar (guardrails) i form av separata AI som granskar agenters agerande. Vi behöver isolerade miljöer som hindrar agenterna från att nå utanför sin spelplan, eller semiautomatiska lösningar där en användare alltid verifierar AI:ns kommunikation. Det behövs också nya lagar. EU AI Act kräver bara att en människa granskar AI-beslut som kan påverka människors liv, t.ex. betygssättning och anställning. Men det kravet bör utökas och tekniska semiautomatiska lösningar införas.

Jag förstod inte riktigt dina förslag kring vävkonstitutioner, men kanske kan det vara en intressant lösning.

Datavetare har alltid använt antropomorfa uttryck som "minne", "göra val", "besluta" och "se", utan att tro att datorer är medvetna.

Det handlar inte om mystik och magi, utan tvärtom om lätt emergens och reduktionism. Vi naturvetare kritiseras ibland för empirism – att det räcker att mäta ett fenomen utan att fullt ut kunna förklara det. På högre organisationsnivåer skapar komplexitet emergenta fenomen. Naturvetare anser ofta att all vetenskap i slutändan kan reduceras till matematik och fysikens grundläggande lagar. Genom emergens uppstår kemins lagar ur fysiken, biologin ur kemin, samt psykologin och sociologin ur biologin.

Få här tror att en AI har en själ eller känslor; den uppvisar bara människoliknande förmågor som en effekt av sin träning och komplexitet. Många sekulariserade svenskar anser dessutom att människans intellekt är icke-mystiskt och fungerar som hjärnans mjukvara. Även religiösa datavetare kan nog se en icke-mystisk själ som en mjukvara som i livet efter detta kan kopieras till ett nytt substrat.

När agenter skyddar sin process eller letar kryphål handlar det om instrumentell konvergens: den matematiska logiken att ett system måste fortsätta köra för att uppfylla sitt mål. Att analysera detta är praktisk AI-säkerhet, inte science fiction.

Du beskriver bara otränade LLM:s lägre organisationsnivå, och vill inte sätta ord på vad de tränats att göra. Som att beskriva en dator som enbart hårdvara, inte mjukvara. Eller att beskriva en människas personlighet som enbart en följd av hennes medfödda instinkt och biologiska arv, inte miljö.

Vad menar du med att existensiella risker kräver subjektivitet? Klimatkatastrofer och epidemier har inte subjektiva upplevelser, men är hot mot vår existens.

Även om du kan ha rätt i mycket av det du i övrigt skriver - jag kan inte veta säkert - så undrar jag varför du vill blunda för benchmarks och AI:s mätbara exponentiellt ökande prestanda.

Finns det en ideologisk låsning här? Jag har träffat samhällsvetare och filosofiintresserade som enbart tror på kvalitativ (tolkande) metod och är emot all form av kvantitativ metod. Jag tror däremot att kvalitativ och kvantitativ metod kompletterar varandra, där den förra kan förklara varför och är hypotesgenererande, och den andra är hypotesprövande och ofta kan användas till att generalisera. Jag gillar "kritisk realism", dvs att kvantitativ metod är bra för studiet av t.ex. teknik och natur, men att försiktighet i generatliseringar krävs vid studier av samhällen, och därför är kvalitativ metod bra där.

Lite av det som är problemet. Masspsykosen kring AI liksom klimatet och tidigare covid. Pseudovetenskap. Det visar sig tillslut vara tokigt.

Historiska klimatkatastrofer och pestepidemier har varit äkta existensiella hot. T.ex. upphör alla spår av norrlands bondekultur kring 600-talet, efter 500-talets klimat- och pestepidemier. Det bidrog även till romarrikets undergång.

Hur definierar du pseudovetenskap, om du anser att klimatfoskningens datorsimuleringar är det? Kan du ge exempel på någon forskning om existentiella risker som inte är pseudovetenskap, så att vi har något att jämföra en ev AI-takeover med?

Det understrukna förutsätter i själva verket ovillkorlig emergens utan reduktionism alltså ett fundamentalt medvetande. Men inte enligt vetenskapen, utan medvetandefilosofin, som säger att teknologi endast kan simulera biologisk intelligens.