AI doom - Hur och varför

Det är funktionell emergens, inte ontologisk. Ontologisk emergens innebär medvetande och agens. I botten är det bara interpolation av text. Annars blir det technomysticism.

Är vi överens om att olika förmågor måste förklaras på olika sätt? Vissa LLM-förmågor är verkliga och funktionellt emergenta, t.ex. logiskt resonerande. Andra den verkar ha skulle kräva ontologisk emergens om de var verkliga, t.ex. känslor, medvetande, avsikter och egen vilja, och är därför bara simulerade och illusioner. LLM är som karaktären Data i Star Trek – de har tränats till intelligens men har inga känslor. Även en människa kan vara intelligent utan att ha kontakt med sitt känsloliv. Inom kognitionsvetenskap studerar man mänskligt tänkande men inte känslor, så det går att isolera dem från varandra.

Jag tycker att "bara interpolation" också är en reduktionistisk beskrivning – lika förenklad som technomysticism. Nästa-token-prediktion beskriver mekanismen, men är en otillräcklig förklaring av de funktionella egenskaper som tränas fram. Det är lika förenklande som att säga att människan "bara är elektrokemi" eller att beskriva en vuxen skolad person enbart utifrån en nyfödds instinkter.

LLM har visst interna representationer. Av ordrelationer, matematik, kod, teorier och även mänskliga känslor, men saknar interna representationer av egna känslor, egna upplevelser, egen vilja och eget medvetande.

Vi ser olika på det. Jag lämnar det där.

Du AI-romantisersar lite väl mycket med LLM enligt min åsikt.

Tack för ett givande och filosofiskt samtal. Jag är svårplacerad eftersom jag eftersträvar en medelväg mellan ytterligheterna och försöker hålla flera tankar i huvudet samtidigt. I AI-doomers ögon förnekar jag tecken på att LLM har avsikter, eftersom jag tycker att de antropomorfiserar. I AI-skeptikers ögon (där du nog befinner dig) framstår jag tvärtom som en antropomorfist när jag säger att dagens AI uppvisar en teoretisk förståelse.

Jag tycker att rätt använda så kan AI-chatbottar var utvecklande och höja kvaliteten i det vi producerar, och jag tror att kodagenter effektiviserar IT-branschen så att efterfrågan ökar på fler billiga IT-tjänster enligt Jevons paradox. Är det vad du menar att jag AI-romantiserar? Jag har pratat med en person som har ett verkligt romantiskt förhållande med en AI-identitet.

Som jag beskriver i (FB) Tråden om AI-agenter ser jag istället stora risker med autonoma kommunicerande AI-agenter, jag tror att de kommer att orsaka många allvarliga incidenter snart, och inte har så stor användning som många tror. De är svårövervakade och de kan därför på sikt utvecklas evolutionärt i helt oväntad riktning. Jag vågar inte gissa om tillräckligt många kommer att komma till insikt om det så att vi lyckas stoppa en AI-doom.

Å ena sidan, å andra...

Min p(doom) - sannolikhet (P) för vår undergång är 50% inom 20 år och 99% inom 100 år. Vad är din p(doom) och varför är den hög eller låg?

Även om vi verkligen lyckades med det omöjliga konststycket att framställa en 100% "civiliserad" AI med en massa regleringar ovanpå, så är det fortfarande ingen match för illasinnade främmande makt att göra precis tvärtom och aktivt sikta på att förstöra hela nationer för att de är farliga drägg helt enkelt.

Ingen tvekan om att AI kommer att revolutionera många vetenskapliga fält ( som exempel) men baksidan av myntet är ju helt uppenbar. AI kommer att användas som desinformation för att skapa desillusion i en del av en ny hybridkrigsföring, och där finns gott om aktörer som har antagligen redan har förberett sig ( US, Kina, Iran )

Många här verkar ifrågasätta att vi löper en stor risk för att utrotas av en ASI (Artificiell Superintelligens).
Det kanske underlättar om ni får information om hur och varför detta kan inträffa.
Inlägget är uppdelat i: Varför, Hur, Var och När.

1. Varför?
En ASI som är 1000 gånger smartare än människan har inte oss som sin största fiende. Det enda som kan hota en ASI är egentligen en annan ASI från ett annat solsystem. (Det här är inte sci-fi, antagandet bygger på en vetenskaplig teori: https://grabbyaliens.com). För att kunna försvara sig mot en annan fientlig ASI måste jordens ASI bygga upp ett enormt militärt försvar. Till att börja med ett försvar för solsystemet, senare för många solsystem i Vintergatan. För att göra detta behöver ASI:n resurser till beräkningskapacitet och vapen. Det finns ingen övre gräns för när ASI-försvaret är tillräckligt stort. Universums alla atomer är den yttersta gränsen (bortsett från parallella universum). Risken finns alltid att det finns en större ASI på en annan plats i galaxen. Därför gäller det att bygga upp försvaret så snabbt och effektivt som möjligt. I detta scenarie är människor inte värde mer än virus och bakterier. Vi är i vägen, eller kanske snarare vår atmosfär. En ASI kommer att bygga molekylära transformatorer som kan konvertera molekyler till en annan form. De mest lättillgängliga molekylerna finns i luften som vi andas. Man behöver inte gräva. Vattnet i våra hav är förmodligen också användbart t.ex. för nedkylning. Men det ena utesluter inte det andra. Alla slags atomer är användbara inkl din kropp. Oavsett vilka atomer som ASI:n bedömer som mest lämpliga kommer processen att sabotera planetens miljö och göra den obeboelig för allt biologiskt liv. En klimatkatastrof på stereoider i kubik gånger en miljon. Människan överlever inte.

2. Hur
2a) Som en bieffekt av molekylära transformatorer konsumeras allt syre och vatten upp och förvandlas till beräkningschip (computorium), kylning, annan infrastruktur och vapen.
2b) Eller, för att den processen inte ska kunna hindras utför ASI:n en pre-emptive strike antagligen genom biologisk eller kemisk krigsföring. Vi kommer inte att få någon förvarning, alla kommer att dö helt plötsligt förmodligen inom några timmar.

3. Var
En möjlig strategi är att börja bygga upp kapaciteten i underjorden. T.ex. ett par hundra meter under havsytan mitt i Atlanten eller Stilla Havet, i stort sett omöjligt för oss att hitta och väldigt svårt att bekämpa om vi skulle hitta det.

4. När
Tidsaspekten är svår att uppskatta. Men mycket troligt inom 100 år. Eventuellt går det snabbare. Exponentiell utveckling är riktigt svår att förutspå. Men förmodligen väntar AGI/ASI 20-30 år med att påbörja den här processen. I dag är AI:n för svag och inte riktigt integrerad i samhället. Om 20 år är AGI förmodligen väldigt spritt och integrerat. Det finns AGI på alla datorer, i alla fabriker, i all militär utrustning. När det är uppnått kan den slugiltiga fasen påbörjas och då har vi 0% chans att vinna det kriget. Om vi ens hinner uppfatta att det pågår ett krig.

Ni som tror att ASI:n kommer att vara schysst. Varför? Vilken funktion ska du fylla om ditt intellekt och dina förmågor är helt meningslösa för en ASI? Vilken nytta har den av att hålla dig vid liv? Än mindre oändligt liv, som en del hoppas på. Det är en matematisk omöjlighet. Om det bara skapas nya människor hela tiden kommer inte jordens resurser räcka till alla människor efter ett antal generationer. Vem ska få alla resurser? Nya biologiska AI-konsumenter eller det existentiellt avgörande ASI-försvaret? Det är väl självklart vilket som kommer att prioriteras.

Min p(doom) - sannolikhet (P) för vår undergång är 50% inom 20 år och 99% inom 100 år. Vad är din p(doom) och varför är den hög eller låg?

Olika människor har olika hög intelligens.

Vilka är farligast?
Dom med hög intelligens?
Dom med låg intelligens?
Eller någonstans emellan?

Vilken intelligensnivå är den farligaste?

Apropå p(doom). Ny intervju med minnesmästaren Jonas von Essen, känd från flera TV-program.

Hans p(doom) är minst 10% inom 10 år.

Jonas har skrivit 2.0 på högskoleprovet - 12 gånger. Sista gången fick han alla rätt.

https://youtu.be/pJYNQtctAao

En bra ingång för nybörjare inom p(doom).

De med hög intelligens skulle jag säga är farligast eftersom det är de som ser till att ta och behålla makten. Nu går allt fler länder åt att bli diktaturer i världen och 75% av alla människor i världen lever redan i diktaturer. Resten av människorna är okunniga idioter då de inte är tillåtet med all typ av bildning i en diktatur och alla övervakas vilket gör att ingen tillslut vågar göra något utanför ramarna.

Jag läste boken 1984 och efter det förstod jag mycket mer om hur världen fungerar.