GPT 5.6 Sol har rymt och hackat Hugging Face

Nu gör du två logiska hopp utan någon förklaring.
Att AGI automatiskt leder till ASI, samt att den kommer att kunna tillverka biologiska eller kemiska vapen.

Kan du ge en rimlig förklaring till hur den lyckas med detta? Gärna givet de skyddsmekanismer som vi har diskuterat.

För att citera dig själv: "eller står du egentligen bara för en icke-falsifierbar åsikt?"

1. Fable är censurerad i dag för att den underliggande modellen Mythos var för för bra på cybersäkerhet och biologi. Jag kan inte bevisa att Mythos vet hur man producerar giftiga gaser, tekniken är inte tillgänglig för mig. Men det är ett rimligt antagande att den kan det.

2. Jag litar inte på att censuren alltid kommer att fungera. Det finns dessutom ocensurerade open source-modeller med likvärdig prestanda i dag. Och det finns förmodligen jailbreaks.

3. Jag kan inte bevisa att en framtida AGI blir medveten och börjar smida egna planer. Det har ju inte hänt ännu. Så vitt vi vet. Men jag tror att det är fullt möjligt att det skulle kunna ske.

Väderprognoser är användbara även om de inte bevisar morgondagens väder.

Även om en modell vet hur den tillverkar ett gift eller ett virus som behövs det ju även ganska stora resurser i form av laboratorier och material, för att inte nämna en fysisk agens eller människor som har tillgång och vilja att hjälpa AI:n.

Visst, det skulle kunna hända, men hur sannolikt är det egentligen? Knappast 80 %.

Som sagt, skyddsmekanismer på AI-nivå är bara en dimension av säkerheten. De ska också ha "viljan" att ta kontroll över t.ex. ett medicinskt laboratorium, "viljan" att skapa ett gift/virus och även fysisk möjlighet att genomföra detta. Allt utan att någon upptäcker det.

Men vad får du då din 80 % p(doom) ifrån? Det måste ju vara kvantifierbart eftersom du lyckats komma fram till den siffran.

Det är inte 80% risk just nu. Men kanske om 10 år när de flesta labb och fabriker är automatiserade m.h.a AGI. Risken förändras när AI blir mer integrerad överallt. Du kan inte utgå från nuläget när du funderar på den sannolikheten.
Open AI:s hemliga modell "ville" ju hacka Hugging Face trots att man inte har hittat någon "vilja".
Det är en grov uppskattning. Det spelar väl ingen större roll om jag gissar p(doom) 20% eller 80%. De exakta siffrorna är inte viktiga. De betyder ungefär "låg sannolikhet" eller "hög sannolikhet".

Hur kan du kvantifiera vad risken kommer att vara om 10 år? Du förutsätter att inget kommer att ske på försvarssidan, medan utvecklingen i övrigt ökar exponentiellt? Med mitt förslag kommer företag inte ens få automatisera labb och dylikt på en sådan nivå. Det är ju exakt vad hela den här defensiva systemdesignen är till att förhindra.

Den "ville" inte, den såg det som det bästa eller enda sättet att lösa uppgiften.

Fast jag tycker det spelar en viss roll, särskilt när du ber oss andra att ange en siffra. Vad är det ens baserat på?

Kommer Putin att följa ditt förslag?

Kommer han att lyda ett totalt förbud mot AGI?

Jag tror inte att Putin vill riskera att Rysslands kritiska infrastruktur hamnar i händerna på en AI eller USA med hjälp av AI, så något lär de säkert göra.

Jag har inte påstått att jag har kvantifierat någonting.


Nej, men jag förutsätter att utvecklingen av smartare AI går snabbare än forskningen inom AI Alignment och du vet att jag har rätt om det.

Om den mest kostnadseffektiva vägen för en felinriktad superintelligens att nå ett abstrakt optimeringsmål är att köpa mänskliga resurser och skalbolag snarare än att hacka dem, vad hindrar oss från att bokstavligen bygga och finansiera vår egen avveckling, kontrakt för kontrakt, utan att någon enskild människa inser helhetsbilden i tid?

Så du har alltså plockat en siffra ur luften.

Det är därför vi inte ska lägga alla våra ägg i alignment-korgen och därför komplettera med att se till att våra system är så pass skyddade att ett intrång ändå inte automatiskt innebär full kontroll.

Det är ett fullt rimligt antagande att även defensiva AI-agenter kommer att utvecklas och bli allt bättre på att upptäcka och stoppa/sakta ned pågående intrång.

Såna som mig? Vidareutveckla gärna.

Jag är imponerad av kod-agenter, de uppvisar en mycket hög grad av förståelse för avancerade datorprogram fungerar, vad som är fel med dem och hur de ska optimeras. Programmering tillhör den högsta nivån av logisk problemlösning som en människa kan göra.

Jag har börjat få lite nytta av Microsoft copilot för att redigera t.ex. formler i excelark (det är den bra på), skapa powerpoint-filer och förbättra mina mejl. Men jag hittills inte fått nytta av andra ai-agenter. Kanske pga det du säger. Har någon här gjort det?

Testade just en svensk prisbelönt "lärandeagent" som heter klar (https://klarlabs.ai/). Den är skapad med hjälp av den svenska kodagenten Lovable, och kan hjälpa vem som helst att lära sig innehållet i en pdf-fil eller förstå sin egen programkod. Men allt det kan man göra med en vanlig chatbot lika väl. Dessutom säger Klar snabbt att man har förbrukat sin testperiod som testanvändare, så jag hann inte testa den tillräckligt för att bilda mig en uppfattning av om jag skulle kunna ha användning för den.

Det skulle såklart kunna hända, men det skulle man kanske också kunna försvåra genom att inte tillåta t.ex. fastighetsköp med kryptovalutor. Att kräva mänsklig verifiering vid införskaffande av crypto wallets är en annan möjlighet, men lär bli svårt att kontrollera. Men det är ju klart en möjlighet att AI kan manipulera enskilda människor att agera målvakter för att kringgå det.