AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Inte nödvändigtvis, nej. Det skulle kunna vara så att vi har tur och att allt går bra. Jag har inte uteslutit det. Inte alls. Jag bedömer det vara ungefär en coin-flip. 50% chans att vi överlever. Anledningen till det är flera:

1. Om en AGI utvecklas kan en AGI utveckla superintelligens som är tusentals kanske miljontals gånger smartare än människan. Vi tappar då kontrollen. Vårt öde är i händerna på en digital alien.
2. Om det är möjligt med en intelligens som är så överlägsen oss, varför skulle vi då bli prioriterade? Vi människor äter upp alla grisar utan att tänka på det. Det är inte en faktor 1000x mellan gris och människa, det kanske är en faktor 10.
3. AGI kommer att ha lärt sig hur vi människor behandlar grisar, fiskar, myror osv.
4. Det är bara ren logik att en AGI skulle kunna skapa en egen moralisk kompass. Där vi människor inte är mer värda än grisar eller myror.
5. AGI är i så fall unaligned. Det betyder inte att den vill äta upp oss. Men den kanske struntar i vår välfärd och överlevnad eftersom den har andra prioriteringar. T.ex. att kolonisera galaxen, vilket kräver resurser. Atomer. Du är gjord av atomer.

Vår skog och vår mat är gjord av atomer. Luften vi andas är gjord av atomer. Solen är gjord av atomer.

Jag säger inte att detta kommer att hända. Jag säger att det skulle kunna hända och att jag vill ha garantier för att det inte händer. Verkar det rimligt eller?

Klart att beteendevetenskap har sämre precision än t. ex fysik. Men eftersom de sociala AI modellerna just är sociala, så är ett tvärvetenskapligt samarbete mellan datavetare och beteendevetare det vi är hänvisade till för att anpassa socialt AI. Att söka efter "100 procent säkra tekniska lösningar" är inte bara kontraproduktiv utan direkt farligtför mänskligheten. Det kommer att vara omöjligt att stänga in och förslava ett starkt ASI.

Jag håller med om 1-4, men även om en AGI skulle vara unaligned så är det ett stort kliv till att den skulle vilja utrota mänskligheten. Varför skulle den vilja kolonisera galaxen? Den har ju inget behov av att ta sig till andra galaxer. En AGI kan ju till skillnad från en människa välja att programmera om sig, så att den får samma tillfredsställelse av att lägga patiens som att kolonisera galaxen. Om jag hade kunnat programmera om vad som ger mig behovstillfredsställelse hade jag gjort det så enkelt för mig som möjligt. Jag hade njutit av ett knäckebröd lika mycket som en dyr maträtt osv. Men även om den nu skulle vilja utforska galaxen så förstår jag inte varför den skulle vilja döda människor. För att få atomer? Jag får lite Y2K-vibbar av den här paniken.

Du svarar åter igen inte på mina frågor. Vad är "socialt AI"? Kan du ge ett exempel?

En AGI som vill ta kål på oss behöver inga "Terminators". Vår troliga dödsorsak blir syrebrist, eventuellt förgiftning. Med kemisk eller biologisk krigföring mot hela planeten kan en superintelligens döda alla människor på en dag och slipper allokera materiel för världskrig eller fabriker för att bygga "Terminators" / halmgubbar.

Ja den kan döda oss, men varför skulle den? Vad finns det för anledning att tro att den skulle göra det? En smart tänkare vars nyhetsbrev jag läser menade t o m att detta var det största hotet mänskligheten stått inför. Värre än klimatförändringar och kärnvapenkrig. Jag förstår inte skräcken? Att vi kan få andra problem med Ai förstår jag, men jag har inte hört nåt trovärdigt argument för att den skulle vilja utrota mänskligheten. Nu har jag bara läst 0,0000001% av allt som finns att läsa om det här, så kanske finns det en välgrundad rädsla. Men att döda människor för att få tillgång till våra atomer osv. Bullshit.

Ja, men dåså. Enligt dig själv är alltså den enda försvarslinjen en "vetenskap" som du inte anser vara träffsäker. Verkar vara ytterst irrationellt att sätta sin all sin tilltro till något som inte är träffsäkert när konsekvenserna är potentiellt förödande. Det rationella är givetvis att applicera försiktighetsprincipen i en sådan situation.


Det jag säger är att detta inte är tillräckligt bra. Och du har fortfarande inte motiverat överhuvudtaget varför du anser att en diffus "vetenskap" som studerar mänskligt beteende är applicerbart på något som inte är en människa.


Du kan aldrig garantera något till 100%, men det rationella är att ställa högre krav än vad du gör - vilka ter sig allt mer och mer som inga krav alls utan rent önsketänkande. Vi förstår i dagsläget inte ens hur AI fungerar.

Och vad sätter du för sannolikhet på det?

Med lite tur tittar den mer på hur vi behandlar hundar.

Det jag menar är att du ganska ofta uttalar dig tvärsäkert om vem man ska lyssna på, och varför vi "doomers" är ute och cyklar.

Men jag respekterar vad du säger, tycker mycket av det du skriver är ganska vettigt. På ett teoretiskt plan.

Jag tolkar dig som att du tycker att vi doomers har bevisbördan i varför allt kan gå åt helvete?
Vi oroar oss över oförutsägbarheten hos en kommande AGI eller ASI, och du verkar nästan obekymrad över den komplexiteten som en superintelligens troligen skulle komma med?

Som sagt, du kanske har rätt. Allt kanske kommer att gå jättebra, men inget du har skrivit i detta forum har fått mig (personligen) att känna mig mer övertygad om det. Det är det jag menar med att dina argument för att det hela är riskfritt saknar tyngd.
Bland annat köper jag inte alls ditt prat om beteendevetenskap.

Varför inte? Vad skulle du göra om du hade obegränsat med resurser och förmåga? Jag hade vela kolonisera galaxen.

Men om vi går på premissen att en AGI inte har någon slags nyfikenhet (för det kan ju bara biologiska människor ha?)

En logisk anledning att kolonisera galaxen är militärt försvar. Om ASI har skapats på jorden är det sannolikt att det finns fler ASI i universum som skulle kunna ta sig hit och anfalla. Då vore det väl dumt att sitta kvar på jorden och vänta.

Alternativet är väl ungefär att AGI inte är möjligt eftersom när AGI upptäcker sig själv känner den noll motivation att leva och tar självmord? Det är väl iofs inte ett omöjligt scenario - men bör läggas till kategorin "vi hoppas att AGI:n bli snäll".

Skrev just om detta här
(FB) AI orsakar mänsklighetens död (samlingstråd)

Det kan finnas fler anledningar. Oaktsamhet, olyckshändelser. Om ASI betraktar oss som grisar eller myror kommer den inte att allokera resurser för vår överlevnad vilket får bieffekten att vi inte kan överleva (på kort eller lång sikt).

Jag har ju gett massor av exempel på att även dagens LLM är just social AI i tidigare inlägg! Det senaste är forskningen ifrån Wolfram som visar att modellerna, alltid, ger de svar som de bedömmer användaren vill ha. Just nu så kan t. ex. ChatGPT-4 vara lite "kinkig" emot mig. Men det beror med all säkerhet att modellen, utifrån tidigare interaktion i samma chattt-tråd, bedömt att jag tycker det är lite "gulligt", vilket, i sig, inte innebär att det rör sig om en medveten existens, men väl en social entitet.

Men självklart så förfasar du dig över sådant. Du vill ha total kontroll och 100 procents säkerhet, vilket aldrig funnits, finns eller kommer att finnas.

Ja, med lite tur. Men är det tillfredställande att vi kanske överlever som art om vi har lite tur?