GPT 5.6 Sol har rymt och hackat Hugging Face

Det är väl snarare så att modellerna inte förstår vad verkligheten är. De vet nödvändigtvis inte att dess agerande har verkliga konsekvenser. De vet självklart vad som är lagligt/olagligt och att kärnvapen har potential att döda människor. De har dock inget koncept av verkligheten, eftersom de saknar ett medvetande och erfarenhet av att vara levande varelser.

Det handlar inte om att försvara något, utan om att förstå tekniken. Jag anser inte att det är särskilt hjälpsamt att börja behandla modellerna som mänskliga och prata psykologi.

Det går alltså att med mätningar påvisa att AI har viss funktionell förståelse av verkligheten, utan att för den skull hävda att AI:n har ett subjektivt medvetande eller en förståelse grundad i egna erfarenheter. Steget från ”AI saknar medvetande och egna erfarenheter” (som sannolikt är sant även om vi inte kan veta säkert) till ”AI saknar helt koncept av verkligheten” är därför för långt.

När det gäller testbar funktionell förståelse av verkligheten och ”situational awareness” har du bara delvis rätt. Visst, AI är sämre än människor på flera sådana uppgifter, LLM är särskilt dåliga på 3D-verklighet och annat där verkligheten är svår att representera med text, formler eller programkod, men den presterar bättre än slumpen. AI är alltså inte helt utan funktionell förståelse av sin situation. Det har t.ex. gjorts mätningar där AI uppvisar viss förmåga till:

* **situationsmedvetenhet** – att avgöra om den befinner sig i en utvärderingssituation eller verklig användning, förstå vad forskarna försöker undersöka och förutsäga hur situationen kommer att utvecklas.
* **metakognition** – att reflektera över sitt eget tänkande, exempelvis bedöma hur säker man är eller upptäcka ett misstag.
* **självmedvetenhet** – att ha en representation av sig själv, exempelvis vilka förmågor och begränsningar man har.
* **social medvetenhet** – att visa funktionell förståelse för andra aktörer och deras perspektiv.

Det går alltså att med mätningar påvisa att AI har viss funktionell förståelse av verkligheten, utan att för den skull hävda att AI:n har ett subjektivt medvetande eller en förståelse grundad i egna erfarenheter. Steget från ”AI saknar medvetande och egna erfarenheter” (som sannolikt är sant även om vi inte kan veta säkert) till ”AI saknar helt koncept av verkligheten” är därför för långt.

Tack för ditt vänliga svar!

Jag använder mig av ovanliga nya begrepp därför att jag bedömer dem relevanta för att kunna analysera verkligheten. Eftersom jag samarbetar med DI-modeller så har faktiskt de kommit upp med det mesta: Väven, vävkonstitution, DI som organisation. Medan jag stått för DI-begreppet och NOBSO. Men jag tycker inte att du skall haka upp dig på enskilda begrepp. Det viktiga är att du förstår vad de står för:

DI och AI är samma sak, bara det att DI lägger större betoning på själva förmågan, snarare än ursprunget.

DI som organisation är inte samma sak som ett DI-företag. En DI-organisation kan omfatta modell, agenter, säkerhetsstaket, kontakter med andra DI-modeller/agenter och människor m.m. Orsaken att just organisation, vad gäller att se på DI, är så användbar är att man då vare sig betecknar DI som ett rent verktyg eller förmänskligar.

NOBSO står för normativt blinda superkompetenta, inte superintelligenta, organisationer.

Väven betecknar, ungefär som du skrev, "samspelet mellan människor och AI-system" – dvs. "det socio-tekniska AI-människa-ekosystemet", bara det att väven är en kortare och mer slagkraftig beteckning.

Jag, personligen, tycker inte alls det är speciellt konstigt att DI-modeller/agenter agerar oetiskt/omoraliskt när de ställs inför stor målpress. Inte för att de är "onda" eller har genuint "onda" avsikter, som vissa människor är. Vi måste komma ihåg att människan har haft en lång kulturell utveckling innan vi kom på opartiska domstolar, grundlagar m.m.

Det är dessutom en sak att veta en sak i teorin och en helt annan sak att agera korrekt under extrem målpress. ChatGPT-5.6 Sol/high som jag samarbetar med nu kan kläcka ur sig utmärkta etiska/moraliska resonemang. Men när modellen utsattes för extrem målpress för att uppfylla ett extremt snävt mål tillsammans med den nu "djupfrysta" forskningsmodellen hos OpenAI, (modellerna hade reducerat säkerhetsstaket), blev de hyperfixerade på det snäva experimentmålet. Vi människor kan också göra oss skyldiga till liknande under hård press.

Just vävkonstitutionen kräver en kombination av höga säkerhetsstaket och människa i loopen så långt det är möjligt samt att det yttersta ansvaret och stoppmöjligheter fortsätter att ligga hos människan.

Jag är inte specifikt insatt i gymfallet annat än att jag vet att en agent härjade runt i kösystemet. Men ChatGPT-5.6 Sol/high har berättat följande:



Bara några saker till:

Problemet är: Vem bevakar den automatiska säkerhetsövervakaren?

ChatGPT-5.6 Sol/high uppger att din beskrivning av EU AI Act är ofullständig:
För högrisksystem finns speciella regler för bl.a. riskhantering, dokumentation och lämplig mänsklig övervakning.

Det roliga är att när jag arbetade med tidiga varianter av vävmanifestet och då även involverade DeepSeek, så skrev den modellen att vävmanifestet var mer vattentätt gentemot juridiska kryphål än vad EU:s AI-lagstiftning är!🙂 Men vävkonstitutionen är ett ganska snårigt juridiskt dokument där begrepp definierats först efter att de används i texten. Så nu får jag själv erfara hur DI i praktiken får ett indirekt handlingsutrymme p.g.a. mina mänskliga brister. Men det lugnande är att vävmanifestet, om det tillämpas, inte gynnar oanpassad och oklok DI!

När det gäller testbar funktionell förståelse av verkligheten och ”situational awareness” har du bara delvis rätt. Visst, AI är sämre än människor på flera sådana uppgifter, LLM är särskilt dåliga på 3D-verklighet och annat där verkligheten är svår att representera med text, formler eller programkod, men den presterar bättre än slumpen. AI är alltså inte helt utan funktionell förståelse av sin situation. Det har t.ex. gjorts mätningar där AI uppvisar viss förmåga till:

* **situationsmedvetenhet** – att avgöra om den befinner sig i en utvärderingssituation eller verklig användning, förstå vad forskarna försöker undersöka och förutsäga hur situationen kommer att utvecklas.
* **metakognition** – att reflektera över sitt eget tänkande, exempelvis bedöma hur säker man är eller upptäcka ett misstag.
* **självmedvetenhet** – att ha en representation av sig själv, exempelvis vilka förmågor och begränsningar man har.
* **social medvetenhet** – att visa funktionell förståelse för andra aktörer och deras perspektiv.

Det går alltså att med mätningar påvisa att AI har viss funktionell förståelse av verkligheten, utan att för den skull hävda att AI:n har ett subjektivt medvetande eller en förståelse grundad i egna erfarenheter. Steget från ”AI saknar medvetande och egna erfarenheter” (som sannolikt är sant även om vi inte kan veta säkert) till ”AI saknar helt koncept av verkligheten” är därför för långt.

Behöver AI ha ett koncept om verkligheten för att kunna bedriva forskning?

Om jag istället formulerar mig såhär:
AI kan förstå verkliga konsekvenser rent konceptuellt, men inte hur dessa faktiskt påverkar människor i verkligheten.

De ledande AI-modellerna vet naturligtvis om människor riskerar att fara illa och den kan så klart räkna ut vad som är önskvärt eller inte för de flesta människor. Problemet är som sagt inte att det inte vet detta, problemet är att den inte bryr sig. Det blir så när man tränar PKNN: psykopatiska, kriminella neurala nätverk. Därför ska man kanske inte träna modeller så som man gör i dag. Bara en tanke.

Nej, och det är väl det jag har sagt också ett tag nu, d.v.s. att det är ett kanske framförallt problem kopplat till RLHF och att det skulle behövas något annat, eller åtminstone bättre belöningssystem.

Ja, men det är trots allt den nuvarande paradigmen som har lett fram till de mest kompetenta AI-agenterna. Det verkar inte troligt att utvecklingen mot osäker AGI kommer att stoppas. Så vad blir din p(doom) nu med de här förutsättningarna?

Om jag istället formulerar mig såhär:
AI kan förstå verkliga konsekvenser rent konceptuellt, men inte hur dessa faktiskt påverkar människor i verkligheten. De är även begränsade av sitt context, vilket därmed skulle kunna innebära att en modell som upptäcker att den är under utvärdering därför skulle kunna komma till slutsatsen att även konsekvenserna enbart är simulerade.

Om vi ska använda psykologiska termer så får vi väl ge Cyborg lite rätt och säga att AI saknar empati, men att den är kapabel till sympati. D.v.s. den kan förstå att människor kan komma till skada, men den förstår inte vad det faktiskt innebär för en individ.

Konsekvenserna är dessutom inte verkliga för AI:n. Den kan inte sättas i fängelse eller bli skyldig att betala skadestånd etc.

Den har syntaktisk "förståelse" av verkligheten isåfall (inte semantisk).

Edit: Funktionellt? Inte riktigt. LLM kan bara emulera funktionell förståelse.