AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Det är lite skillnad på att någon använder AI för scams och att en AI på eget bevåg har scammat någon.
Du antydde det senare, vilket m.a.o. inte har hänt.

Nate Soares leder the Machine Intelligence Research Institute och har i mer än ett decennium jobbat med att få AI:s intressen att vara i linje med våra (AI alignment). Han tror att vi rör oss för snabbt mot system som vi ännu inte vet hur vi ska kontrollera på ett pålitligt sätt.

Så klart han gör, det är gemensamt för i stort sett alla som jobbar med AI alignment... Deras jobb skulle ju vara ett av de första som försvinner om någon av dom skulle säga "AI är inget farligt", men då gör man tvärtom man gör sig viktigast i hela industrin, frågan är bara varför dessa som jobbat med detta i runt 10 år inte kommit någonstans?

Antagligen för att man är upptagen med att slåss mot väderkvarnar istället för att faktiskt forska på AI-utveckling

Ja, det är väl inte så konstigt egentligen, för de har rätt i att den teknik språkmodeller bygger på idag kan inte kontrolleras eftersom den fundamentalt bygger på opålitlighet. Men det är lättare att låtsas som denna opålitlighet beror på nyck i modellens interna liv än att acceptera det faktum att samplar man slumpmässigt ur en statistisk distribution så kommer det alltid finnas en chans att man samplar något direkt felaktigt och eftersom det är autoregressivt så blir det en kedjeeffekt på detta och det spårar ur totalt, men oftast är resultatet bara totalt felaktig "fakta"... men det kan så klart bli större konsekvenser när man gör tool calls, det är därför jag tycker det är så märkligt att bokstavligt talat idioter integrerar detta i precis allt. Okej om det görs för experiment och presentera visioner men det är tyvärr inte så det används. Och det är det som är faran med detta i dag.

Det skulle vara en helt annan sak om modellerna faktiskt var självmedvetna och hade en uppenbar agens, men att bygga sina förväntningar på något som inte existerar fungerar inte. Det går inte bygga en enda sak om man ska ha sådant katastroftänk, liksom det finns en mikroskopisk chans att en mobiltelefon exploderar i din hand också, att bensinpumpen fattar eld och hela macken flyger i luften osv...

Faktum är att p(doom) är sannolikt magnituder högre att alla världens litium jon batterier exploderar samtidigt är högre än att AI kommer på eget initiativ orsaka något katastrofalt.

Nja, största problemet är att språkmodellerna tränas på mänskligt beteende. Och människan är den värsta arten på jorden.

Modeller som bara tränas på fakta och logik kommer inte vara några problem.

Vad menar du med forskning på AI-utveckling? Det som har lett till mer kapabel AI är väldigt enkelt: De slänger mer compute på problemet och då blir AI:n blir mer kapabel. Menar du forskning på att förstå varför det är så? Eller menar du forskning på att göra på ett helt annat sätt för att bygga kapabel AI och i så fall, kan du visa oss någon kapabel AI som är byggd på ett helt annat sätt?

Ja, man kan bygga en smal AI som är bra på schack eller på att vika proteiner. Men marknaden är mer sugen på generell AI som tränas på allt mänskligt beteende inkl krig, psykopati, tortyr och dataintrång. Då är det precis en sådan AI och kanske snart AGI vi kommer att få.

Yampolski och hans likar är praktiskt taget samhällsvetare som förutspår hur teknik kan rasera samhället och hota mänskligheten. De är inte intresserade av att försöka lösa något problem utan enbart av att peka på det och säga att det är kört.

Om de istället lade krut på att förstå tekniken och jobba på att lösa problemen så kanske det hade burit frukt.

Ja, en ingenjör som bygger kretskort kommer ju inte att göra det jobbet som Yampolskiy m.fl. gör.
Lösningen på problemet är att inte bygga något som vi inte kan kontrollera. Hur tekniken egentligen fungerar spelar ingen större roll om vi inte kan kontrollera den. Om jag förgiftar dig är du inte betjänt av att förstå hur jag tillverkade giftet det när du är på väg att dö.

Nej men lösningen på problemet är inte att sluta äta... Bara för det finns en minimal chans att du kan få matförgiftning.

Vad tillför de då, annat än att sprida panik bland den oinsatta massan?