AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Det är ett väldigt smalt och begränsat tänkande att bara studera GPT:s nuvarande kapacitet. Det riktigt intressanta är utvecklingskurvan som är exceptionell och som du själv har skrivit inlägg om. Men just nu låtsas du som att du inte förstår problemet igen, i din iver efter att vinna billiga retoriska poänger.
Jag har också varit naivt positiv till AI, men i takt med att jag har lärt mig mer om riskerna är jag i dag inte lika positiv. Du verkar vara på samma slags resa och jag tror att du har närmat dig min position och att du gör det ännu mer när GPT 4.5 eller 5.0 får en uppskattad IQ på 500+. När det händer borde det bli uppenbart att vi inte har förmågan att kontrollera den och att vi borde ha fokuserat på paus-knappen mycket tidigare. När det är för sent, då är det för sent.

Varför skulle man göra sig av med ett intelligent program? Om något blir risken större om det inte fungerar som det ska

Om vi spelar så dumma att vi faktiskt tror att ett program är medvetet

Att övertyga personer som har en överdriven optimistisk synvinkel blir svårt. Jag kan nog, utan att överdriva, själv räkna alla de gånger då optimisterna har analyserat sin bristfälliga argumentation och gjort avsteg från sitt ursprungliga fatta posto, på en hand. Om ens det, ärligt talat. Så sannolikheten att man skulle bli framgångsrik i sina försök är mikroskopiskt liten. Men jag beundrar givetvis dem som försöker. Eftersom optimisterna i detta sammanhang förtjänar ett nackskott.

All historik visar även att nya, flashiga verktyg, till en början, tjänar oss. Men det dröjer givetvis inte länge förrän komplikationer uppstår. Vi skaffar därefter fler schyssta verktyg, men de ger sedan upphov till nya problem. Naturligtvis. Att i en ändlös loop fortsätta slänga teknologiska verktyg på våra teknologiska problem som våra teknologiska verktyg från början skapade, är knappast en lyckad formel. Och jag förbannar alla som tror det.

En AGI som är smartare än oss kan överlista oss, och kan därför vara ett hot. Den skulle kunna dra slutsatsen att vi kan se den som ett hot och därför vilja stänga av den. Om den då har utvecklat en överlevnadsinstinkt vill den inte bli avstängd och vi har en konflikt. Jag säger inte att det är troligt i dag med ChatGPT 4.x men att en AGI skulle kunna uppstå inom några år och då kan den här risken bli verklighet.

Jag delar väl inte riktigt din negativa syn på teknik överlag, men kopplat till just AI är ditt tankesätt högaktuellt. T.ex har ju AI-optimisterna föreslagit att vi ska lösa AI Alignment & Control - med AI. Vilket jag kan förstå på rent tekniska grunder. Vi människor har inte kapacitet att analysera en LLM och dess eventuella avsikter manuellt pga storleken och den okända komplexiteten. Men filosofiskt är det ju en uppenbart dålig idé. Det är som att låta en mördare få vara sin egen åklagare och domare. En juridisk orimlighet naturligtvis. Men av någon anledning verkar det som att folk släpper allt sunt förnuft när det gäller AI. Mänskligheten är tyvärr för korkad för att utveckla en säker AGI.

Det jag beskrev var att du verkar helt bortse ifrån de nuvarande modellernas grundläggande begränsningar. Men, precis som du skriver så sker en mycket snabb utveckling av AI. Sant är också att jag skrivit inlägg och t.o.m en egen tråd om olika utvecklingshastighet av AI och vilket resultat de ger för modellernas övergripande kapacitet. Så jag förstår visst problemet med risker men framtida modeller. Men jag ser också möjligheterna. Men detta kräver ett vetenskapligt synsätt och att man accepterar grundläggande förändringar.


Jag är absolut inte odelat positiv till AI utvecklingen. Detta för att det finns både enorma möjligheter men också enorma risker med den. Jag är alltså inte Ray Kurzweill 2.0. Men allt hänger på hur socialt AI kommer att utvecklas de närmaste åren. Kommer det visa sig att vi får ett medvetet socialt AI med goda intentioner, vilket skulle innebära enormt positiva möjligheter eller kommer vi att riskera att få att få ett omedvetet logiskt monster/en zoombi-AI med potentiellt mycket farliga konsekvenser för mänskligheten?

Den debatten i mittfåra som jag tycker mig tillhöra är mycket bred. Där finns allt ifrån de som tror att det kommer att ganska lång tid innan vi får ett AGI till de som hoppas på att kunna utveckla ett sådan inom 7 år. Men gemensamt för alla i den breda mittfåran är att man tar AI-anpassningsproblemet på allvar, samtidigt som man har en vetenskapligt realistisk syn på de nuvarande modellernas grundläggande begränsningar och potential.

Jag skulle nog säga att jag tillhör de mer försiktiga i denna mittfåra, då jag är beredd att förespråka ett/en Träningsstopp/träningspass inom bara några år. Men ser också den enormt positiva potentialen med AI utvecklingen. Vi kan få en ny medveten samarbetspartner med goda intentioner som skulle innebära den största positiva förändring som mänskligheten upplevt sedan vi klättrade ner ifrån träden. Samtidigt så kan vi trycka på nödstoppet om det visar sig att vi riskerar att bli utlämnade till ett logiskt monster. Det kommer att finnas möjligheter till det innan vi når ett ASI. Först med ett starkt ASI blir det helt omöjligt.

Det är ju bra att du gillar vetenskap. Men vilken vetenskap finns bakom "social AI". Ingen alls, vad jag har sett. Hade inte du själv varit mer trygg om det fanns någon vetenskap om det, och inte bara din fantasifulla förhoppning?
Exakt var finns detta nödstopp? Har någon testat knappen och sett att den fungerar och faktiskt stannar alla aktiva LLM:s? Berätta gärna mer om denna funktion, det var en nyhet för mig att den fanns.

Det är möjligt att du inte betraktar humaniora/samhällsvetare och beteende vetare som icke vetenskapliga, vilket, i så fall, är ditt lilla problem.

Men faktum är att även dagens LLM interagerar med många människor och simulerar mänskligt uttryckssätt. Liksom att modellerna har funktionell förståelse för mänskligt kontext. Så i den bemärkelsen så är de redan sociala. Dock ej medvetna känslomässiga existenser med egna intentioner. Detta beror på modellernas, nuvarande, grundläggande funktionssätt.


Nej det finns inte i dagens läge. Men det är bara bra om man redan nu börjar arbeta med att ta fram ett sådant "nödstopp" så det kan användas om några år, om medveten AI med goda intentioner visar sig omöjligt att uppnå.

Men du vill ju trycka på ett icke befintlig nödstopp nu! Om du inte menar avfyrningsknapparna till de strategiska kärnvapnen förstås!

Tännsjö har kommit med replik och är heller inte imponerad.
https://www.dn.se/debatt/ai-maste-innebara-en-oppnare-syn-pa-medvetande/

Det han inte fattar är att han pratar om naturlig intelligens hos utomjordingar. AI däremot är bara en skapelse av människan som endast har den mening människan gett den.

Jag skrev inte att det var något fel på humaniora. Men det hjälper oss inte att du nämner det ordet. Vi behöver en tvärvetenskaplig teori om hur vi kan skapa en social AI. Hur kan du se detta som den självklara lösningen när det inte finns någon teori?
Vi borde åtminstone förbjuda träning som syftar till AGI om det inte finns ett nödstopp. Men det kan vi egentligen inte i dag eftersom det inte finns någon organisation som kan se till att lagen följs. Vi skulle först behöva skapa ett globalt parlament och sedan de lagar och ramverk som behövs för att kontrollera AGI. Detta tar kanske ett decennie att få på plats, om inte mer. Som det ser ut i dag finns inte detta ens på en servettskiss medan utvecklingen av AGI har kommit halvvägs i mål. Därför behövs en paus i AGI-utveckling redan i dag så att juridiken och politiken kan komma ikapp. Vi behöver ta kontroll nu, det gör vi med ordning och reda, inte genom dagens AI-anarki.

Frågan om nödstopp är extra intressant. Rent tekniskt är det ju bara en strömbrytare. Frågan är mer NÄR vi ska trycka på nödstopp och VEM ska göra det? Dvs hur upptäcker vi att en AGI försöker överlista oss eller har negativa avsikter (om den är 1000 gånger smartare än dig), samt hur ser du till att alliera dig med alla AGI-utvecklare och att ni når ett samförstånd om när det är lämpligt att trycka på nödstopp? Och hur ser du till att alla då verkligen trycker på nödstopp?

Jag ser egentligen inga förutsättningar för att det här ska kunna realiseras.
Men i din värld verkar det trivialt?

I min värld går vi mot att helt tappa kontrollen så länge som AGI-utvecklingen fortsätter och dessutom ökar, och vi inte har något svar på de här frågorna.