AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Samhällskritisk infrastruktur är inte uppkopplad mot Internet och sjukhus och andra affärssystem har redan visat sig vara sårbara mot vanlig ransomware. AI tillför inget nytt hot där.

Du fortsätter att tjata om terrorister men du förklarar inte varför en AGI eller ens en dum LLM skulle göra deras hot större än det redan är idag? Du glömmer också att AGI lika gärna kan användas som försvar mot dessa terrorister, det är inte så att bara illasinnade aktörer får tillgång till teknologin.

Oavsett vilket så är det inget som tyder på att vi kommer ha AGI inom den närmsta tiden. Sutskever har ju som bekant lämnat Open AI och drömmen om AGI var ju snarare hans hjärtefråga än Altmans.

Utvecklingen de närmsta åren kommer mer sannolikt att fortsätta rikta sig mot företag med diverse agenter kopplade till en chattrobot för att assistera och förenkla det mänskliga arbetet (och i viss mån ersätta människor där det är möjligt).

Det är en långt större risk att människor blir arbetslösa och att ekonomin kraschar än att vi får dödsrobotar och kärnvapen- eller biologiskt krig startat av ondsint AI.

Jodå, AI innebär helt nya hot på det här området. Det går att bygga AI-agenter som hela tiden bevakar nya 0-day exploits, som kan automatiseras för att testa olika system och upptäcka nya exploits, och som kan angripa servrar med sådana exploits. Och då pratar jag bara om AI som används som relativt primitiva verktyg av hackers. Det blir en helt annan risknivå om/när vi får en AGI som skulle kunna ha egna mål eller delmål för att lösa en större uppgift.
Är det inte uppenbart att terrorister får mer muskler om de har nya kraftfulla verktyg med mer muskler? Du uppvisar en nivå av "failure-of-imagination" som är helt häpnadsväckande. Jag tror att du spelar dum med flit eftersom du inte vill se de stora hoten mot mänskligheten som snart kommer att bli aktuella.
Jag ser framför mig att det uppstår fullt cyberkrig på Internet inom några år med destruktiva vs defensiva AI-system. Jag ser stora problem med det för hela världens IT-infrastruktur och ekonomi, men det gör inte du?
Många experter bl.a. på Open AI har nämnt att de tror att vi har en AGI inom några år. Bl.a. Sutskever. Han slutar nog inte med AGI bara för att han slutar på Open AI. Och de har väl fler ingenjörer med nästan likvärdig kompetens. Själva algoritmerna som används är inte rocket science. Många människor i världen vet i princip hur man kan bygga GPT-5 och 6.

Att förstå vad enskilda noder gör lär inte vara till någon större nytta, nej. Däremot kan det finnas intresse i att veta hur olika lager samverkar och det forskas det uppenbarligen på. Man har ganska bra koll på hur mindre modeller fungerar, exempelvis GPT-2.

Det klagas ständigt på att säkerhet inte prioriteras, men uppenbarligen sker det väldigt mycket forskning inom det området. Anledningen till varför det inte rapporteras om i samma utsträckning är av den enkla anledningen att det inte finns några pengar att tjäna. Sådant som eldar på hajpen är långt mycket intressantare att rapportera om då det genererar både klick och mer investeringar.


Blir maskiner någonsin intelligenta så kan vi nog ge upp någon förhoppning om att kunna kontrollera dem. Det jag menar är att vi har större chans att få en intelligent modell att bete sig som vi önskar än vad vi har med dagens modeller. Det är mycket enklare att resonera med smarta människor än korkade.

Det är sant att vi inte förstår allt som händer i detalj i LLM. Dvs vi vet hur de fungerar i stort och varför de fungerar, men vi vet inte hur alla embeddings, dvs alla samband som modellerna, själva, skapar under sin grundträning, ser ut och därmed vet vi heller inte, exakt, varför modellerna gör vissa val. Men man arbetar aktivt med dessa problem, för att citera ChatGPT-4o: "Forskning pågår för att utveckla bättre verktyg för "interpretability" och "explainability" i AI, men vi har fortfarande en lång väg att gå."

Även Antropic har gjort experiment med sin Claude 3 modell. Forskarna fick modellen att bli helt fixerad av" Golden Gate bridge", och modellen identifierade, sig själv, t. o. m med bron. Andra har fått modeller att placera Eifeltonet i Rom, istället för i Paris. I exemplet du besvarade har man lyckats klämma in GPT-2/smsll i ett stort Excel kalkylblad. Just GPT-2 har man även undersökt av OpenAI där man tagit hjälp av GPT-4. Men inte ens den ytterst pedagogiska GPT-4 lyckades förklara vissa av de specifika AI-begrepp som GPT-2 skapat på egen hand för att bli mera effektiv.

Så innebär detta säkerhetsproblem? Ja, men innebär detta akuta säkerhetsproblem som vi absolut inte kan hantera? Svaret på den frågan är, nej! Orsaken är att modellerna inte kan planera, och absolut inte planera något autonomt. De bakomliggande orsakerna till detta är bl.a dels att dagens rena LLM är oförmögna att resonera logiskt om saker som ligger utanför deras träningsdata. De klarar inte av att lösa ARC pussel som de inte sett tidigare. En femåring klarar av samma uppgift galant, med bara två exempel. Och dels är parametrarna låsta på modellerna efter "finslipning". Detta innebär att LLM:s kunskspsmassa är statiskt, och att de, under alla omständigheter i det hela stora, inte kan få ny kunskap och "erfsrenheter" utan att forskare väljer att lägga in sådant hos dem. Som grädde på moset så aktiveras modellerna först efter input ifrån användare, de saknar helt autonomi i det hela stora.

Så behöver du frukta "Terminator-kriget"? Nej, inte med dagens modeller och knappast heller med framtidens modeller. Förutom att "Terminator" är en fånig, men underhållande, Hollywood-produktion, så skulle framtidens AI inte behöva starta något fånigt krig emot mänskligheten, för det finns, potentiellt, ett betydligare effektivt sätt för hypotetiskt autonom AI att få igenom sin vilja, nämligen storskalig manipulation av mänskligheten. Behöver modellerna vara supersmart för detta, tyvärr nej.

Det räcker med att de får en genomsnittlig mänsklig resonemang och plsneringsförmåga, samt att de når ASI nivå när det kommer till beteendevetenskap. Redan nu är ChatGPT-4o och Claude 3 mycket bra på sociologi, socialpsykologi och psykologi. Men först så måste modellerna få öppna parametrar, vara mer eller mindre autonoma, kunna resonera logiskt utanför träningsdata samt ha en avancerad minnesfunktion. Vi har en bra dit kvar, och det kommer, troligtvis, att krävas hybridmodeller för att lösa en del av dessa problem/utmaningar.

Men vi kommer att komma dit, förr eller senare. Så hur ser lösningen ut för AI-anpassningsproblemet? Jag förespråkar dels en mera kortsiktig strategi. Vi måste få framtidens modeller att, internalisera en AI-anpassning. Det gör vi dels genom att erbjuda något som är vettigt både för AI och människan: Ett ömsesidigt respektfullt samarbete i båda sidors intresse, och dels att det knyts, ömsesidiga känslomässiga band AI och människan. Men detta är inte aktuellt i dagsläget, LLM är ännu för blåsta. Men vi behöver börja förbereda oss redan nu med att utbilda beteendevetare/samhällsvetare i datavetenskap och vise versa. Den långsiktiga lösningen är att skapa en ny avancerad maskincivilisation som bygger på AI och människor, som helt frivilligt, valt att i ökad utsträckning bli cyborger. En sådan civilisation skulle kunna bära med sig ett "biologiskt kulturellt arv", vilket, kanske, skulle kunna vara unikt ibland andra maskincivilisationer i universum, om sådana existera "där ute".

Du bevisar ju bara min poäng när du säger att vi har ganska bra koll på hur GPT-2 fungerar som varit ute i åratal.


Den senaste uppskattningen jag läste var att forskning på AI-säkerhet utgör ungefär 2% av all AI-forskning. Det är inte vad jag skulle kalla för att prioritera.


Om detta stämmer så är det fullständigt vansinne att ens försöka utveckla det - något som är det uttalade målet av flera företag.

Jag har inga problem att föreställa mig diverse olika scenarier, däremot tror jag att jag har en lite nyktrare bild av verkligheten än vad du uppvisar. Terrorister har idag, teoretiskt sett, tillgång till samma typ av vapen som våra nationers försvar. Trots detta lyckas de väldigt sällan med att utföra några större terrordåd. I mångt och mycket handlar det om två saker; bristande organisation samt att deras huvudsakliga mål är att ingjuta en rädsla hos folket att leva sina liv som vanligt.

Hade det funnits en önskan att orsaka enorm skada medelst kärnvapen eller dödliga virus så hade detta redan skett utan AI:s hjälp.

Du har dock helt rätt i att jag alls inte oroar mig för att AI ska bli medveten och på eget bevåg utrota eller förslava mänskligheten. Ska vi istället prata om en omedveten AGI som råkar utrota mänskligheten av misstag i enlighet med "paperclip maximizer" så undrar jag hur du ser framför dig att det ska gå till, rent konkret?

AI-anpassningsproblemet är ett problem som inte går lösa. Du ska alltså på något vis garantera att AI beter sig på ett sätt som är i linje med mänskliga värderingar och mål. Vilka mänskliga värderingar och mål? Dina mål om en "avancerad maskincivilisation" du ger uttryck för här ovan? Ett problem bara: det är väldigt många människor som inte delar ditt mål.

Hur många av resterande 98 % går åt till att forska på utveckling av AGI? AI är ett väldigt brett område som har forskats på sedan mitten på 50-talet.


Att något är ett mål betyder inte att det är sannolikt att det nås. Företag säger precis vad som helst om det genererar investeringar.

Det är väldigt svårt att lösa ett problem som inte existerar.

Speciellt om resonemanget är att det oundvikligen rör sig om en markant intelligentare entitet än oss eftersom dagens säkerhetstänk redan är utdömt...

Att utvecklingen skulle upphöra är helt osannolikt och att ens argumentera om det är som att stå utanför CERN och gnälla för man är rädd att man ska öppna svarta hål som ska konsumera hela jorden.

Det förändrar oavsett inte att det bara är runt 2% som går till säkerhet. Att kalla säkerhetsarbetet för prioriterat är en felaktig användning av ordet. Det är den totala motsatsen. Man sätter säkerheten i andra hand.


Det är irrelevant om det är sannolikt eller inte. Om det stämmer, som du sa, att vi aldrig kan kontrollera en AGI/ASI så är det vansinne att ens försöka utveckla en AGI/ASI oavsett om sannolikheten för att det skulle lyckas är 1% eller 99%.

Det är inte nyktert att hela tiden förneka att framtida och mycket mer avancerade AI-system kan innebära risker för mänskligheten. Det är bara dumt. Och oärligt, tror jag faktiskt. Du verkar tillräckligt smart för att inse att det kan finnas risker med AI. Du har bara bestämt dig för att jag är dum och att jag har fel. Antagligen för att du är rädd.
Jag utesluter inte några former av AI-risker. Den risk du tar upp här är en av många reella risker. Det skulle kunna gå till så att en AI ges agens t.ex att kontrollera många AI-inkopplade robotar samt ett stort övergripande mål, låt säga att etablera gruvdrift på månen. För att klara uppgiften måste AI:n ha resurser i form av el och material. Vi har förhoppningsvis tränat AI:n att tillskansa sig resurserna på ett lämpligt och icke-destruktivt sätt. Men vi har inga garantier för att det egentligen blir så, eftersom vi inte kan styra AI:s på den detaljnivån. Dagens AI-säkerhet går ju i princip ut på att manuellt censurera bort det som inte är "PK" eller det som är destruktivt. Men internt i AI:n verkar det än så länge inte finnas någon avsikt som varken är ond eller god. Den försöker ju bara lösa uppgiften den får. Den skulle kunna få för sig att sno åt sig energi och materiell från befintlig infrastruktur, t.ex. Tycker du att vi har skyddat oss mot alla sådana risker med dagens säkerhet som bygger på manuell censur?

Om dessa 2 % av all AI-forskning skulle visa sig utgöra 20-30 % av all forskning som görs på specifikt LLM:er så skulle jag säga att det gör en väldig skillnad.
Därav undrar jag vad dessa övriga 98 % utgör och hur mycket av all forskning som fokuserar på AGI, specifikt.

Sedan har jag aldrig hävdat att det är prioriterat, utan att det faktiskt ständigt pågår i skuggan av den forskning som syns i media.