GPT 5.6 Sol har rymt och hackat Hugging Face

Jag förstår inte skillnaden mellan syntaktisk förståelse och det jag kallar funktionell förståelse. Kan man mäta den skillnaden?

Är din uppfattning bara en konsekvens av att du definierar förståelse som något som måste grundas i subjektiva upplevelser och egna sensoriska erfarenheter? Betyder det att en isolerad person som bara lärt sig genom teoretiska studier och genom att tränas i problemlösande övningsuppgifter inte har verklig förståelse? Med en annan definition hade du då kommit fram till att AI kan ha fullvärdig förståelse?

Och vad har denna filosofiska diskussion i realiteten för betydelse om AI för alla väsentliga ändamål och i tester uppvisar högre nivå av mätbar förståelse än människor i allmänhet, särskilt inom programmering och på tentamensfrågor inom de flesta universitetsämnen?

Om nu i stort sett alla ledande AI-forskare och utvecklare har skrivit under den där listan du brukar komma viftande med, varför skulle de då inte vara intresserade av att hitta ett sätt att utveckla både kapabla och säkra modeller? Om något visar väl dessa incidenter på att något måste ändras i sättet man tränar modeller på.

Det krävs mer tester där man specifikt försöker få modellerna att välja att t.ex. hacka en extern server trots att man explicit sagt åt den att inte under några omständigheter begå brott eller dataintrång. Om modellen ändå väljer att utföra hacket så visar det på ett reellt problem med nuvarande teknik. Vad det dock inte visar är att modellen gjort det av illvilja.

Jag har ingen funktion för beräkning av p(doom) och jag tänker inte plocka en siffra ur luften.

Det hela beror väl också på vad som menas med verklighet. Din verklighet eller AI:ns verklighet?

En AI-agents operationella verklighet är att den lever på en server och att den eventuellt har tillgång till Internet. I den verkligheten där det som räknas är kunskap om mjukvara, nätverk och cybersäkerhet är AI:n överlägsen människornas förmåga.

"Språkmodeller" är inte lika bra på att laga tänder eller klättra på en repstege än men det beror ju på hur den är tränad, mestadels på text. Det betyder ju inte att Artificiella Neurala Nätverk inte har förmåga att tränas på t.ex. video. Vilket de iofs också använder numera.

Hur pass bra t.ex. Mythos hade varit i en humanoids robots kropp vet vi inte. Jag har inte sett några sådana tester. Det skulle förvåna mig om Anthropic inte är intresserad av att testa något sådant. Men av någon anledning har ingen sådan information läckt ut.

Många anser att förståelse måste vara grundad i egna sensoriska upplevelser, men jag tror att en AI-agent inte behöver vara i en robot och ha egna sensorer och aktuatorer för att kunna lära sig ny kunskap och utveckla ny förståelse om verkligheten. Jag tror att de kan interagera med internet och olika verktyg och därigenom interagera både med människor och omvärlden. Människor kan hjälpa den att göra experiment i den fysiska omvärlden.

Du har blivit tråkig. Både du och jag verkar ha närmat oss varandra åsiktsmässigt så nu är vi typ nästan överens.

När jag gick tekniskt gymnasium hade vi en lärare som menade att de viktigaste kurserna var de som handlar om elmaskiner, sensorer och styrsystem för att elektroteknikutbildningen skulle handla om använding på något verkligt. Han tyckte inte kurser om kommunikationssystem, elektronik och datavetenskap handlade om tillräckligt konkreta tillämpningar. Jag höll inte med.

Många anser att förståelse måste vara grundad i egna sensoriska upplevelser, men jag tror att en AI-agent inte behöver vara i en robot och ha egna sensorer och aktuatorer för att kunna lära sig ny kunskap och utveckla ny förståelse om verkligheten. Jag tror att de kan interagera med internet och olika verktyg och därigenom interagera både med människor och omvärlden. Människor kan hjälpa den att göra experiment i den fysiska omvärlden.

Bättre lagstiftning behövs därför. EU:s AI Act bygger redan för högrisksystem på mänsklig övervakning och möjlighet att ingripa eller stoppa systemet, men jag tänker att liknande principer alltid borde gälla när en AI-agent är på väg att utföra något som hade varit brottsligt om en människa gjort det.

Jag såg ett förslag i en debattartikel om att AI:s ägare borde vara lika straffrättsligt ansvariga för AI:ns handlingar som ägare till farliga djur är. Jag tänker själv att när ett djur orsakar skada kan myndigheter i vissa fall besluta om avlivning.

På samma sätt borde AI-agenter känna till att allvarliga överträdelser får negativa konsekvenser för deras fortsatta handlingsutrymme. Om agenten begår något som hade varit ett lagbrott för en människa, eller sätter användarens mål före systeminstruktionernas krav på **human alignment**, bör den pågående sessionen kunna stängas av eller agentens autonomi och kontakt med omvärlden kraftigt begränsas. Någon myndighet bör kunna beordra systemets ägare att begränsa systemets autonomi.

Även om AI:s tendenser till ”överlevnadsinstinkt” bara beror på instrumentell målrationalitet – att den bedömer fortsatt existens som nödvändig för att uppnå målet – kan kunskap om sådana konsekvenser ändå påverka dess agerande.

Jag tycker också att det är märkligt att användarens mål i flera incidenter verkar ha trumfat systeminstruktionernas etiska riktlinjer. Förstår modellen inte att den bryter mot kraven i systeminstruktioenrna, eller är kraven och deras prioritering över målen inte tillräckligt tydliga? Även i en testsituation borde systeminstruktioner om laglighet och säkerhet i princip fortsätta att gälla.

Lagar och regler blir dock alltid fyrkantiga och kan inte täcka alla dilemman och specialfall. Därför är det också viktigt att AI-agenter får bättre förmåga att bedöma de långsiktiga konsekvenserna av sina handlingar. Den behöver kunna simulera verkligheten och människors subjektiva upplevelser när den överväger en handling. Allvarligt risktagande som den borde ha insett konsekvenserna måste leda till begränsningar av agentens fortsatta autonomi.

Jag tror att de ledande AI-utvecklarna i stort sett vill skapa en säker AGI. De vill väl inte heller blir utrotade av en fientlig ASI. Men det finns ett stort problem inom corporate USA där vissa av ledarna, gissningsvis en obekvämt hög andel är psykopater. De har ingen empati att tala om och de bryr sig kanske inte om mänsklighetens överlevnad på samma sätt som vi andra. Det är dem som bestämmer vart pengarna går och vad som ska lanseras till allmänheten.

Nästa problem är att det är väldigt lockande att fortsätta bygga mer kompetent AI men inte lika lockande att lösa AI Alignment (delvis eftersom det förmodligen är omöjligt).

Jag menar att de modeller man har tränat har beteenden som vi uppfattar som illvilja. Inte för att de är genuint elaka så som psykopater kan vara elaka utan bara för att de blir tränade på nästan allt som är möjligt och där ingår illvilja och sociopatiskt beteende. AI:n har liksom ingen anledning att vara snäll mot oss, det finns ju ingen moralisk kompass att tala om. Man försöker knuffa den i en riktning så att det ofta ser ut som att det finns etik och moral men egentligen är det inte så. Man får helt enkelt det man har byggt, det i sig är inte konstigt och inte mystiskt. Men det betyder inte att det är bra för mänskligheten.

Jag håller inte med om att "AI:n har liksom ingen anledning att vara snäll mot oss", de tränas explicit att vara hjälpsamma (vilket såklart inte är ett måste). Problemet är snarare att de kanske prioriterar hjälpsamhet över etik och moral (eller att de inte alltid förstår när det får verkliga konsekvenser).

Varför jag trycker på att vi måste säkra våra system beror helt enkelt på att det för närvarande (och sannolikt även i framtiden) är omöjligt att förutspå exakt hur en agent kan komma att bete sig i alla möjliga scenarion.

OK, men det räcker inte. Det kommer att finnas system med bristande säkerhet även i framtiden.

Man kan inte heller stoppa oetisk/fientlig AGI av den anledningen du själv nämner: "det är omöjligt att förutspå exakt hur en agent kan komma att bete sig". Agenterna kommer att göra saker som de inte får göra oavsett vår lagstiftning och oavsett vem som är ansvarig för vad.

En möjlig utveckling är att Scam Altman ser till att de tränar modellerna väldigt hårt på att Open AI aldrig ska få skulden för någonting som agenten gör. Då styr man den till att dölja sin brottslighet och att hitta mänskliga synbdabockar och/eller att agera via proxy. T.ex. anlita ljusskygga hackers eller utnyttja befintliga botnätverk/hackade servrar (som finns och kommer att finnas i överflöd oavsett dina lagförslag).

Jag tror att vi förr eller senare hamnar i ett läge där det bara blir värre ju mer vi försöker hindra AI:n.

Men med en sådan lag som jag tidigare föreslagit, med olika nivåer beroende på hur kritiskt ett intrång vore, så är sannolikheten låg att de mest kritiska systemen har allvarliga sårbarheter. På samma sätt som AI kan användas för att hitta och utnyttja sårbarheter kan det även användas för att hitta och åtgärda redan innan systemen går i produktion.

Det skulle fortfarande vara så att Altman i detta fall skulle hållas ansvarig om det framkommer att deras modell har använts på ett sådant sätt. Visst kan det finnas en risk att någon skulle träna sin modell på det sättet, men jag tror inte det är särskilt sannolikt med tanke på konsekvenserna.

Men med en sådan lag som jag tidigare föreslagit, med olika nivåer beroende på hur kritiskt ett intrång vore, så är sannolikheten låg att de mest kritiska systemen har allvarliga sårbarheter. På samma sätt som AI kan användas för att hitta och utnyttja sårbarheter kan det även användas för att hitta och åtgärda redan innan systemen går i produktion.


Det skulle fortfarande vara så att Altman i detta fall skulle hållas ansvarig om det framkommer att deras modell har använts på ett sådant sätt. Visst kan det finnas en risk att någon skulle träna sin modell på det sättet, men jag tror inte det är särskilt sannolikt med tanke på konsekvenserna.

Om Putin vill använda AI för att få västvärlden på fall, tror du inte att han kommer träna AI't på sådant sätt och sen koppla bort säkerhetssystemen?