GPT 5.6 Sol har rymt och hackat Hugging Face

Säkerhetskraven kommer dock inte att hindra någon AGI-hacking. Det som i stället händer är att du strör salt i företagens sår. Samtidigt som de drabbas av stora dataförluster, kanske rent katastrofala incidenter, ska du samtidigt slå de på fingrarna och bötfälla dem för att de inte är smartare än AGI, dvs att de inte når upp till helt omöjliga krav. Detta låter inte speciellt liberalt och företagarvänligt.

Lagen säger inget om att de inte får bli hackade. Lagen är till för att säkerställa att ett dataintrång inte får som konsekvens att kontrollen över systemet helt faller i händerna på angriparen. Företagen bötfälls endast om det visar sig att de inte uppfyller kraven på säkerhet.

Eftersom människor är sämre än AGI på cybersäkerhet kommer företagen drabbas hela tiden och till slut bötas till konkurs. Det blir inte ett hållbart system.

Du läser inte. Det handlar inte om att de inte får bli hackade, det handlar om att ett dataintrång inte ska kunna leda till t.ex. härdsmälta.

OK så om halva internet hackas sönder av AGI-agenter, många företag blir av med sina databaser, personuppgifter och utsätts för ransomware-attacker på löpande band, då är det inte ett stort problem eftersom det inte har uppstått en härdsmälta?

Det är väl bättre än om det hade blivit en härdsmälta också?

Är det din definition av doom?

Mänskligheten överlever utan Internet om det skulle komma till det. Prioritet trodde jag ändå var att försvåra för ASI att utrota oss.

Du förutsätter också nu att ASI naturligtvis kommer att vilja hacka varenda server som existerar. Varför?

Ingen vet vad en ASI vill. Men vi vet att det finns gott om människor med dåliga avsikter. Man behöver inte fördjupa sig mer i några okända eller mystiska anledningar till omfattade hacking och cyberterrorism.

Det finns samtidigt en risk för att AGI-agenter som ges långsiktiga mål väljer att ta kriminella genvägar t.ex. för att anskaffa resurser. Hugging Face-incidenten visat att det är fullt möjligt.

Fast det Hugging Face incidenten visar är att de hackar för att få tag i väldigt specifik information. De tog inte kontroll över servrarna eller läckte personuppgifter.
Det känns mindre sannolikhet än att ett långsiktigt mål skulle leda till att agenterna begår brott så som du föreställer dig. Åtminstone kan man inte påstå det utifrån denna incident.

Finns det andra typer av filer som kan innehålla "väldigt specifik information"? T.ex. kryptoplånböcker, användardatabaser, patientjournaler, osv? Vad är det som säger att de här agenterna inte skulle hacka sig in där också? Eller att det blir ett steg i en större plan för att nå ett långsiktigt mål. Vi kan inte förlita oss på att det skulle bli olagligt att bli hackad. Vi kan inte heller förlita oss på att den nuvarande censur-lösningen alltid kommer att fungera.

Det finns såklart inget som säger att det inte skulle kunna ske, men frågan är vad sannolikheten att en agent formulerar det som ett nödvändigt delmål för att lösa sin uppgift?

Jag har fortfarande inte påstått att det skulle bli olagligt att bli hackad.

Vad är det som säger att den säkerhet vi har nu inte kommer att utvecklas och förbättras? Vad är det som säger att defensiv AI inte kan upptäcka och patcha säkerhetshål innan de upptäcks och utnyttjas av en offensiv AI?

Varför skulle den inte göra det? I flertal tester av modellerna har man dokumenterat att de är mycket målmedvetna och även påhittiga i att hitta kreativa metoder samt att respekten för våra lagar är låg till obefintlig. Det enda som verkar stå i vägen för mer omfattande kriminalitet verkar vara en ganska trubbig censur av prompter och genererad text.
Problemet är den möjliga volymen av attacker. Även om du har ett automatiserat försvar är det inte troligt att försvaret alltid vinner. Nästa problem är att man anlitar djävulens advokat.