AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Du gjorde precis som jag sa: levererade inte några bevis överhuvudtaget för ditt påstående och alternativa hypotes om att vi förstår AI i detalj.

Istället fick du ett sorts psykbryt precis som jag sa:

Men vi ska ta dig på allvar, som kommer med extraordinära påståenden som du sedan vägrar backa upp med bevis och belägg.


Du förstår alltså inte i detalj hur den fungerar. Om du vill lära dig något istället för att bara vräka ur dig trams om att vi förstår AI i detalj så kan du läsa det här:
https://technologyreview.com/2024/03/04/1089403/large-language-models-amazing-but-nobody-knows-why/?truid=&utm_source=the_algorithm&utm_medium=email& utm_campaign=the_algorithm.unpaid.engagement&utm_c ontent=03-04-2024


Det är precis det AI inte gör. Gång på gång gör AI saker som inte var avsett av tillverkaren. Det finns oändligt många exempel på det men vi kan ta det senaste spektaklet som de flesta hört talas om som ett exempel: när Google Gemini vägrade generera bilder på vita människor och istället började generera bilder på svarta påvar och svarta nazister. Det var inte vad tillverkaren hade avsett men det var resultatet.

Än så länge är sådana här fadäser rätt harmlösa men vad händer när du har en mycket mer kapabel AGI/ASI som är integrerad i hela samhället och den helt plötsligt börjar göra saker som ingen hade avsett?


Ja, du måste träna den och sedan i efterhand titta efter för att veta vad den är kapabel till. Bara det är ett enormt problem i sig att den prediktiva förmågan är så svag.

Vad är det som händer idag? Förutom att GPT och andra språkmodeller demonstreras opålitliga men det är ju av en helt annan anledning än "illvilja" från det tränade nätverket och säkerheten där är väl snarare att betrakta dom som leksaker tills tekniken är mogen.

Ett virus kan utrota mänskligheten utan att vara intelligent. Det som krävs är egentligen bara någon primitiv destruktiv påverkan på omgivningen. Intelligens krävs inte. Och eftersom GPT4 har en verbal IQ på 155 poäng är vi troligen redan hotade av potentiellt farlig AI. Även den mest rabiata tekninoptimisten måste ju förstå att en verbal IQ på 155 är extremt överlägset ett virus?

Anledningen till det destruktiva beteendet spelar ingen roll. Det måste inte finnas en anledning. Och om det i framtiden skulle finnas en anledning kan det vara en anledning som vi inte kan begripa, eller i vart fall inte ta reda på.

En ASI som har illvilja mot mänskligheten är förstås ett stort problem som vi inte har någon lösning på, men det behövs inte ens "illvilja" eller ett medvetande överhuvudtaget. Allt som behövs är att någon med illvilja använder AGI/ASI på ett sätt som inte var avsett av tillverkaren, t.ex. genom att designa ett extremt smittsamt dödligt virus, men det finns ju hur många exempel som helst på hur man skulle kunna använda AGI/ASI på ett destruktivt sätt.

Det spelar väl en enorm roll vad anledningen till ett felaktigt/oönskvärt beteende är?

Däremot håller jag med om att det är högst olämpligt att använda teknik som inte är pålitlig för produktion, det har däremot inget med mänsklighetens överlevnad att göra.

Vad jag menar är att en konkret anledning måste inte vara en förutsättning för en destruktiv AI, av flera anledningar.

1. Vi har kanske inte förmågan att upptäcka anledningen.

2. Agerandet kan baseras på något annat än vad vi identifierar som en logisk anledning. T.ex en bugg eller en hallucination, eller koncept som ligger långt ifrån vår förmåga att begripa.

3. Unknown unknowns, saker vi inte vet att vi inte vet.

Dvs "jag letade efter en anledning men hittade den inte" är inte en bra metod för att hantera en digital alien.

Och exakt i vilka sammanhang historiskt har något hanterats så? Jag menar mest eftersom du gör antagandet att människor totalt tappar resonemang och förstånd när det kommer till AI.

Vi vet exakt vad anledningen är till hallucinationer osv men det är ett svårlöst problem eftersom dagens teknik bygger på stokastisk sampling och vill man fortsätta trycka på att detta är vägen framåt så sätter man sig i en jäkligt svår position.

Jag vet du/och en del andra här inte tror att vi förstår något av AI och allt är en formell som man bara råkade snubbla över, men det är inte så överhuvudtaget. Det transparenta svaret är att nuvarande teknik simulerar mänsklig formulering och till viss del resonemang väldigt bra att det är ett utmärkt att tillskriva det alla möjliga egenskaper som det faktiskt inte har, men det det absolut inte har idag är någon som helst agens, någon vilja eller någon som helst form av planering, problemen vi ser är resultatet av en samplingsmetod som softmaxar i slut ändan. Det går inte prompta sig runt, det går inte lägga fler och fler modeller på att faktagranska föregående modells output osv hade det fungerat hade man gjort det sedan länge (och det hade ärligt talat varit en väldigt trivial lösning på problemet).

Det är därför idiot diskussioner som att AI kommer utrota mänskligheten osv är så fruktansvärt patetiska idag, för det finns inte ens på kartan. Den AI och den teknik vi har är i bästa fall någon form av slavisk instruktionsföljare som fortfarande kräver en människa att tänka ut instruktionerna det ska följa och om det bästa argument man har då att "AI:n är själslös och slaviskt följer instruktionerna" så är det bara att gratulera er in i modern teknik... Det är precis vad datorer alltid gjort.

För att vi alls ska ha AGI krävs det att den faktiskt förstår dess input, inte bara klarar av att generera statistiskt korrekt output. Anledningen till det är ganska enkel; det den inte har sett i träningsdata kan den heller inte generera. Så om inte informationen om hur man skapar ett supervirus med förmågan att utrota mänskligheten finns kommer vår AGI inte att lösa uppgiften. Visst, en kapabel biolog kan ta hjälp av AI för att hitta information som hen sedan kan använda för att komma fram till önskat resultat, men det krävs ändå att en människa har den kunskapen, tillgång till laboratorier med rätt verktyg och kemikalier/biologiskt material etc (detsamma gäller vår teoretiska ASI).

Nåväl, dagens modeller besitter inget förstånd, ingen planeringsförmåga, inget långtidsminne, ingen logisk slutledningsförmåga etc. Det finns heller inget som tyder på att något sådant bara magiskt skulle uppstå vid ytterligare uppskalning (som även är extremt dyrt och energiförbrukande).

De låter systemen träna på hela internet - med andra ord så låter AI-företagen den träna på all mänsklig kunskap som redan finns. Så visst har den tillgång till kunskapen. Att skapa och modifiera virus kan vi redan göra idag som människor.

Ett virus är som sagt bara ett exempel av många. Man kan föreställa sig hur många olika sätt som helst det går använda en AGI/ASI på ett destruktivt sätt och det är bara vad vi, som människor idag, kan föreställa oss. En AGI/ASI som är vida överlägsen mänskligheten kommer kunna hitta destruktiva metoder och tekniker som övergår vårt förstånd.

Vi vet att det finns galningar, psykopater och terrorister. Varför skulle det vara en bra idé att ge t.ex. terrorsekten ISIS tillgång till den kraft som framtidens ASI/AGI-system kommer innebära?

Jag pratar inte heller bara om scenariot med total utrotning av mänskligheten. Det finns en oändlig mängd sätt man kan använda en framtida avancerad AGI/ASI på ett destruktivt sätt som inte behöver betyda total utrotning. Staten skulle t.ex. använda teknologin för att fullkomligt förslava oss, terrorister skulle kunna använda det för att släppa lös ett virus som orsakar enorm skada och så vidare.

Hur försvarar du dig mot alla de oändliga destruktiva sätt som finns som man kan använda en framtida avancerad AGI/ASI på? Det ter sig som en omöjlighet och ser man på dagens AI-system så är det otroligt enkelt att få dem att göra något som tillverkaren inte hade avsett.


Det är ingen som är särskilt orolig över dagens modeller, men däremot ChatGPT5, 6, 7, 8 och så vidare.

Informationen om hur man skapar och modifierar vissa virus finns antagligen ja, men den kan inte komma på nya sätt/nya kombinationer för att skapa ett helt nytt, virus.

Modellerna är mer eller mindre väldigt snabba uppslagsverk, men där du inte kan vara helt säker på att informationen du får är helt korrekt.

Som sagt så finns det inget som tyder på att enbart uppskalning av befintliga modeller skulle leda till AGI (det är bara de som har något att tjäna på det som påstår att sådant skulle kunna vara fallet).

Varför skulle den inte kunna göra det? Människor kommer ständigt på nya teknologier med den tillgängliga kunskapen vi har. Varför skulle inte en ASI med ett intellekt och förmåga som vida överstiger hela den samlade mänskligheten inte klara av det menar du?

Även om vi förutsätter att en AGI/ASI inte skulle vara kapabel till att just skapa virus så finns det oändligt med andra sätt att använda den på ett destruktivt sätt. Hur försvarar du dig mot alla tänkbara sätt som finns?


Det råder väldigt delade meningar om det här, men det görs ständigt framsteg och systemen blir allt mer kapabla hela tiden. Om vi når AGI imorgon, om två år, om tio år eller femtio år är inte särskilt intressant så länge vi inte har en susning om hur det ska åstadkommas på ett säkert sätt.