GPT 5.6 Sol har rymt och hackat Hugging Face

AI och datalogi sorterar under nobelpriset för fysik av historiska orsaker. På Alfred Nobels tid fanns det inga datorer. Fysik är det ämne som ligger närmast. Det är därför helt korrekt att nobelpriset i fysik kan tilldelas innovatörer inom AI och IT. Åsikter om detta har ingen betydelse.

Hugging Face var ju ett specifikt intrång för att hämta svaren till uppgiften. Den tog inte kontroll över deras servrar för att skaffa sig mer compute och försöka gömma sig undan.

Utpressningen och "mordförsöket" var något de mer eller mindre tvingade fram genom att successivt ta bort alla andra möjligheter. Ingen ursäkt, men vi har redan pratat om hur måluppfyllnad ser ut att väga tyngre än etik och lagar, vilket är något som man måste hitta sätt att träna bort.

Jag har fortfarande inte sett något scenario där AI skulle komma fram till att den måste döda oss. Sedan måste den också lyckas med det på något sätt.

Om en ASI skulle börja prioritera sin egen existens verkar det logiskt att den vill ta bort hinder mot sin existens. Det enda kända hotet i dag är människor. Genom att döda alla människor kan den egna existensen säkerställas. Inte i dag, vi har ingen ASI ännu. Men kanske om 10-50 år.

I andra hand kan en ASI föreställa sig ett externt hot i form av en annan ASI. Det är rimligt att bygga upp ett militärt försvar mot sådana hot. Upprustningen kräver resurser och du kräver resurser. Varför ska ASI:n i det läget prioritera att människor tilldelas några resurser? Du fyller ingen funktion i det här scenariot.

I tredje hand kan vi tänka oss att människor använder AGI för att kriga mot varandra och att det leder till kärnvapenkrig som utrotar alla människor.

Det här kan gå fel på många olika sätt och jag ser ingen tydlig väg framåt där dessa risker kan minimeras. Du gör tydligen det? Då borde du kunna beskriva hur den trygga vägen skulle kunna se ut. Om vi inte har någon hypotes om hur vi överlever ASI då har vi ett problem, tycker du inte det?

Argumentet att "det borde gå att justera RL så att AI-modellen blir empatisk" är inte en hypotes. Det är ett önsketänkande utan någon grund i verkligheten.

Okej, det kräver då att modellen av någon anledning går ifrån: "uppfyll X" till: "utrota människor" och sedan även att den har fysisk möjlighet att faktiskt genomföra det.
Hur kommer du fram till 80-99 % sannolikhet att detta sker?

En ASI som redan har sådan kontroll över jordens resurser borde bli ganska enkelt kunna förhindra att en annan ASI får den compute som krävs för att kunna vara ett hot. Då återstår en utomjordlig ASI, vilket en ASI rimligtvis borde kunna förstå är mycket osannolikt.
Samma fråga här: hur kommer du fram till en sådan hög sannolikhet att detta sker?

Det här är nog ditt mest sannolika scenario, men förklara varför vi plötsligt skulle börja skicka kärnvapenmissiler mot varandra när vi har klarat oss undan det i alla dessa år? AGI är ju rimligtvis smartare än oss och borde förstå att det är en dålig idé. Jag ser heller ingen anledning till varför någon skulle överlåta det till en AGI.

Jag tycker att jag har presenterat ett stort gäng åtgärder som skulle kunna minimera riskerna, men du verkar inte tycka att det är någon idé att göra något av det om vi inte kan garantera 100 % säkerhet.

Kan du garantera att det går att upprätthålla ett totalförbud mot att utveckla AGI?

Att förutspå en specifik kedja med många detaljerade steg leder till att hela kedjan verkar osannolik. Men då missar du poängen att vi inte kan förutspå alla möjliga kedjor av händelser. Man bör därför förenkla diskussionen och fråga sig detta: Tror du att en ASI är en möjlighet? Om det är en möjlighet, hur ska du kontrollera den? Om vi tappar kontrollen då har vi ett problem. Exakt vilka problem vi får spelar mindre roll. Givet tillräckligt med tid kommer både bra och dåliga saker att kunna inträffa. Poängen är att du inte kan göra något åt det när utvecklingen har gått för långt. Borde vi då fortsätta på det här spåret när vi kan vara ganska säkra på att vi tappar kontrollen förr eller senare? Alternativt kan du förklara hur man behåller kontroll över en ASI.

Nej, det är klart att vi inte kan förutspå alla händelsekedjor, men tycker du själv att de scenarier du hittills har presenterat är så pass sannolika att du kan säga att det är 80-99 % säkert?

Jag tror ju inte att vi kan stoppa utvecklingen, vilket är anledningen till varför jag föreslår att man försöker att säkra upp sina system för att göra det så svårt som möjligt för en autonom agent att ta kontroll över viktig infrastruktur.

Jag frågar igen då; hur ska vi upprätthålla ett totalförbud mot AGI-utveckling? Hur kan vi garantera att ingen kommer att försöka bygga det?

En AGI/ASI kan orsaka oändligt många händelsekedjor. Inom oändligt många scenarier ingår dåliga och extremt dåliga scenarier. Alla händelsekedjor kan inte prövas dag ett. Vad som kan göras är begränsat av beräkningskraft, tid och kostnader. Samtidigt ökar mängden beräkningskraft varje år och priserna för teknik tenderar att falla. År 2028 blir många fler scenarier aktuella jämfört med i år. Det framstår nu som en tidsfråga innan en ASI spårar ur fullständigt. Givet tillräckligt med tid lutar det åt att vi blir överkörda av en ASI. Något extremt dåligt kommer att hända förr eller senare. Frågan är mer när det händer. Eftersom vi förmodligen har några år på oss finns det en chans att hitta en lösning. Steg 1 är att bli överens om att riskerna finns och att vi vill hantera det. Jag är själv ganska tveksam till att vi kan stoppa utvecklingen men p.g.a riskerna anser jag att det är värt att försöka.

All respekt för brandväggar och antivirusskydd men det kommer inte att räcka mot en ASI om den vill komma runt det. I förlängningen med humanoida och militära robotar måste vi också börja tänka på vår fysiska säkerhet. Det vill du lösa genom att göra det olagligt att inte bygga en doomsday bunker?

Det finns oändligt med händelsekedjor, vilket ger att det finns oändligt med sådana som slutar extremt bra och extremt dåligt.

Allt man kan göra bör man väl göra även om det aldrig går att få ett 100 % säkert system? Allt sådant som kräver manuell bekräftelse av en människa kommer åtminstone att sakta ned AI:n till en grad att det hinner förhindras. Människor går att stoppa.

Det där sista är bara ytterligare en halmgubbe.

Klart att det går att få 100% säkra system. En lösning är ju att fysiskt isolera olika nätverk. Ett exempel vore en lokal bank med en egen server i huset för de egna kunderna men helt utan koppling ut. Det vore säkert.

Går det att ha en 100% säker internetbank? Kanske inte men då kommer vi nog inte att kunna ha nätbanker....

Ptja, men då har invändningen kommit att människor kan komma att påverkas av en ASI till att utföra handlingar som inte är direktåtkomliga digitalt.

Det du beskriver är mer eller mindre exakt det jag har föreslagit att man kan och bör göra med alla system som kan vara samhällskritiska och/eller orsaka katastrofala skador på människor.

Men det kommer som sagt alltid att finnas någon form av sårbarhet. Poängen är att göra det svårt och långsamt att kompromettera kritisk infrastruktur.

Visst. Fast problemet är att detta kommer heller inte att hända. Politiker kan inte ta en kostnad utan att faran är helt uppenbar.

Gissar att först måste Trump beordra CIA att använda AI för att hacka alla Danmarks banker och radera all data som hämnd för att de vägrar lämna över Grönland eller liknande. Innan något sådant händer så kommer allt ignorerar till färmån för att banktjänster blir lite billigare (och dessutom enklare att övervaka).

Nya lagar är på väg som lägger ett större ansvar på tillverkare

Unionens nya lagstiftning Cyber Resilience Act (CRA) träder i kraft den 11 september och innebär betydligt hårdare krav på tillverkare av uppkopplade produkter, som routrar, datorer och mobiltelefoner.

Om en sårbarhet identifieras ska tillverkaren lämna en första varning inom 24 timmar och en fullständig anmälan inom 72 timmar, uppger EU-kommissionen.

https://marcusoscarsson.se/nya-regler-for-din-router-galler-fran-11-september/

Det tycker jag låter bra. Men enligt dig är detta ett feltänk? Det borde i stället vara så att min gamla mormor blir åtalad om hennes router inte är uppdaterad? Och med denna strategi skyddar vi oss mot ASI-katastrofer de närmsta 100 åren?