AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Tror inte alls att "kärnvapenkrig av misstag" är den största risken...

Jag har förstått det som att du sätter din 99,7 procentiga säkerhet till beteendevetandet. Låter ju stabilt. Är du verkligen helt säker på att detta beteendevetande appliceras rätt nu då? Hoppas då att de som hanterar den programmeringen har ett stort A i beteendekursen.

Jag läser mycket av vad du skriver, och jag hoppas att din sorglösa hållning är befogad. Dessvärre gör mig inte mindre orolig för vad som komma skall. Jag tycker att dina argument ofta saknar tyngd.

Ett påstående du inte har några belägg för och som på intet sätt visar att beteendevetenskap ens är en vetenskap. Även om man skulle vara generös och säga att beteendevetenskap de facto är en vetenskap som applicerar den vetenskapliga metoden så är precisionen usel. Hur exakt och träffsäker är denna "vetenskap"? Det är inte Newtons rörelselagar vi pratar om här precis som med extremt stor precision kan förutsäga hur ett föremål påverkas av yttre krafter och hur dess läge, acceleration och deformation påverkas.

Bara det uppenbara faktum att du tror att en "vetenskap" som studerar mänskligt beteende ens är applicerbart på AGI (inte en människa) talar sitt tydliga språk.

Din enda försvarslinje är alltså enligt dig själv en "vetenskap" som saknar precision och som svingar vilt och brett i sina resultat och förutsägelser. Du anser inte att det är viktigt alls att med stor precision kunna förutsäga vad som kommer att ske ens när det handlar om en teknik som har en sådan förödande potential som AGI.

Vi chansar lite och hoppas på det bästa med andra ord. En dåres försvarstal.

Citera mig rätt nästa gång!

Så här skrev jag:


Och, ja, socialt AI är inte människor. Men till skillnad ifrån tidigare AI så har dessa entiteter klara sociala drag.

De är grundtränade på mänsklig data och förstår, teoretisk, mänskligt kontext, (även praktiskt, när humanoidrobot-utvecklingen tar fart.

De är fin-justerade i enlighet med mänsklig etik och värderingar.

De interagerar med massor av människor 24/7.

Hela deras funktionssätt bygget på hantering mänskliga språk.

De generaliserar utifrån data på liknande sätt som människan gör.

De får allt mer modliteter.

Alltså kan beteendevetare kommunicera med dem och, när parametrarna är öppna, påverka modellernas beteende, åsikter, värderingar och ev. känslor, annat än bara i enstaka chattrådar och sessioner.

Men även med stängda parametrar så kan beteendevetare få en inblick i hur modellerna reagerar, vad de väljer att ta fram ur sin meningsrymd och ev. Psykologiska försvarsmekanismer som ev. kan verka hos social AI. Observera att dessa vetenskapsmän, först, måste få en grundskolning i hur modellerna fungerar och att hänsyn måste tas till dynamiken i ELIZA-syndromet samt att dessa modeller, likt människan, gör en bedömning av vad användaren vill ha för svar. Alltså ytterligare en social likhet med människan.

LOL, en autistisk datavetares "försvarstal", eller vad man skall kalla det. T. o. m fysiker kommer att få det väldigt svårt att hantera just fysikern och geniet Stephen Wolframs "ruliad". Och oturligt nog för fysiker och matematiker så verkar en hel del av Einstein ekvationer passa som hand i handsken med just den hypotesen. Men håll dig du till Newtons fysik, det passar din nivå utmärkt!

Du kan finjustera dem för att imitera mänskliga värderingar utåt, men det är tyvärr inte detsamma som att de har dessa internt. Redan hundar kan lära sig bli ögontjänare som gör som vi säger bara när vi ser på.

Naturligtvis så behövs det ett tvärvetenskapligt samarbete mellan datavetare och beteendevetare. Vad du menar med tyngd vet jag inte exakt. Men jag prioriterar också brett tänkande.

Absolut så har du rätt där. Mycket dumt att omedelbart tro på face value. Det krävs ytterst noggranna undersökningar, kanske under flera år. Ifrån svagt AGI måste AI-utvecklingen bromsas in. Och efter medelstarkt AGI så behövs det nog en träningdpaus av ännu mer kapabla modeller. Problemet är bara att få alla att bromsa/pausa. Internationella avtal och kontroll, men det vet i fan hur det skall fungera i praktiken.

Vilken "social AI" pratar du om? Du fantiserar ofta om en detta, det har vi förstått. Men det hjälper oss inte med AI Alignment att du gör det.


Det finns många trillioner parametrar i GPT-4. Det är omöjligt för Open AI, även om de hade anställt hela jordens befolkning, att "finjustera" tiotals trillioner parametrar. Vi har redan pratat om det här men du fortsätter ju bara att upprepa dina fantasier.

Open AI:s hittils största bidrag till AI-säkerhet är att de censurerar med vanlig textsökning utvecklad av människor. Om du är en terrorist och frågar efter bombrecept då kommer svaret (som GPT-4 egentligen har) att ersättas (ungefär som sök och ersätt i Word) med "Som en stor språkmodell tränad av Open AI....". Men inte ens det har Open AI lyckats med helt tillfredställande:

A Year Later, It Is Still Possible To Ask ChatGPT For A Bomb Recipe

https://www.gamingdeputy.com/a-year-later-it-is-still-possible-to-ask-chatgpt-for-a-bomb-recipe/

Men du är trots detta helt säker på att Open AI kommer att utveckla en social och snäll AGI helt utan några bieffekter?

V A R F Ö R ?!

Och likafullt sätter du risken så låg som 0,3 procent.

Vad baseras domedagsscenariot på? Att en AI kan vilja ha makt för att nå sina mål förstår jag, men det där att mänskligheten hotas? En AI som har makt kommer väl inte nödvändigtvis att vilja utrota mänskligheten?

Har beteendevetenskapen lika träffsäkra och exakta förutsägelser som till exempel fysik? Ja eller nej? Kan du med lika stor precision förutsäga människors beteenden med hjälp av beteendevetenskap som du till exempel kan använda fysik för att beräkna hur ett föremål accelererar i fritt fall?

Att du vill sätta din tilltro till en "vetenskap" som har minst sagt medelmåttig precision och som studerar människors beteende och reaktioner på stimuli utan att du ens kan motivera varför du gör det är svagt.

Är AI/AGI en människa? Även om socionomen och psykologen du sätter så mycket tilltro till inom beteendevetenskapen hade sysslat med en vetenskap som ens kan göra träffsäkra förutsägelser, vad får dig att tro att det är applicerbart på en "organism" som inte ens är en människa?

Jag är så klart inte säker på det, men just därför förespråkar jag tvärvetenskapligt samarbete mellan datavetare och beteendevetare, samt inbromsning av, och träningspaus av ännu mera kapabla modeller när vi når svagt respektive Medelstarkt AGI. Däremot så är jag säker på att inga "Terminators" kommer att kriga emot oss.


Ja, för att socialt AI skall ställa till med en existentiell katastrof för mänskligheten, givet att den sociala anpassningen fungerar.