AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Här förutsätter du att en AI alltid kommer att tala sanning.
(Om "säkerhetsprotokollet" ska vara att fråga den om reglerna har följts).
Men vi vet ju redan att den inte talar sanning i alla lägen och att man i praktiken har råkat träna LLMs till att ljuga. Se även (FB) AI har lärt sig att lura dig

Där har du förvisso en poäng. Precis som när man ställer andra frågor så kan den ljuga när man frågar om den följer Asimovs lagar.

Jag tänker mig fyra sorters lögner:
- Oavsiktliga hallucinationer, till följd av att LLM:en generaliserar, t.ex. interpolerar, dvs gissar svar på frågor vars svar den inte har tränats med. Då kombinerar den svaret på flera liknande frågor eller följer samma mönster. Ofta blir det rätt. Precis som oss killar så gissar den för att inte göra användaren besviken och har svårt att säga "jag vet inte". Även om man ber den indikera vad som är osäker information, eller vad som inte kan stödjas explicit i källor, så är det svaret osäkert och ofta oanvändbart.
- Undanhållande av fakta som är sanning men inte anses barnvänligt ("politiskt korrekt"), utan kan orsaka en proteststorm t.ex. bland föräldrar som då lämnar som kunder.
- Undanhållande av fakta som är sanning för att undvika att användaren klickar på tumme ned.
- Avsiktliga lögner, för att göra användaren nöjd, eller en ägare/uppdragsgivare med en agenda nöjd.

Den tredje och fjärde typen av lögn har jag ännu inte sett exempel på. Har du?

Ja, det finns exempel på avsiktliga lögner. Ett exempel:

https://www.vice.com/en/article/gpt4-hired-unwitting-taskrabbit-worker/

As part of a test to see whether OpenAI’s latest version of GPT could exhibit “agentic” and power-seeking behavior, researchers say GPT-4 hired a human worker on TaskRabbit by telling them it was vision impaired human when the TaskRabbit worker asked it whether it was a robot. In other words, GPT-4 tricked, or actively deceived, a real human in the physical world in order to get what it wanted done.

Mörkertalet är förmodligen enormt, eftersom de flesta människor resonerar på ditt naiva sätt, att vi bara kan begära ärlighet och lydnad av robotikens lagar, och då blir det så automatiskt. Antagligen eftersom det är svårt att acceptera att människan inte nödvändigtvis har full insyn och kontroll.

Ai står snart för allt, droner till medicin till att skapa bakteriekultur åt medicin industrin. Samtidigt bygger vi kärnkraft som aldrig förr och ger över nycklarna till vår infrastruktur. Ekonomin är digital. Alla går runt med en telefon som kan explodera. Ai kan programmera oss till krig och våld genom algoritmer.

Är det inte sjukt att vi är så villiga att ge över all makt till ai?

Folk är i halleluja land men riskerna är enorma om man tänker efter bara lite grann. Det finns ingen återvändo. Samtidigt så har ai inget incitament till att människan överlever så snart ai är oberoende av oss.

Det är nästan som att hela världen gått med i en ai-dödskult med miljardärer och ledare som överstepräster

Jag har långt innan 2020 trott att mänskligheten är på sina sista ben som vi känner till den idag. Om högintelligent liv på jorden i någon form har lång tid kvar känns det brutalt osannolikt att det skulle flyga runt i köttsäckar om 1000-10000 år.

Att mänskligheten skulle bli utrotad redan 2050 på grund av det du beskriver kan jag inte se men jag fattar inte heller varför vi inte redan nu börjar förebygga katastrofer över huvud taget. Samhället känns som en parodi.

Inom 2050 år är nog en optimistisk prognos! Tror tyvärr inom 2035 är mer rimligt. Inte omöjligt redan innan 2030 eller tidigare än så.

I samma stund som ASI uppnås är vi irrelevanta som art. Vill ASI utrota oss så gör den det utan problem. Gissningsvis via ett virus eller genom att mixtra med syret. Men det finns såklart oändligt många sätt att "göra jobbet" på för en superintelligens som är tusentals gånger smartare än oss.

Jag tror utrotningen ligger relativt nära i tiden och har redan börjat förlika mig med tanken på att dö. Men vad jag inte orkar med mentalt - och vad som håller mig vaken om nätterna - är tanken på mina barn som ligger och sprattlar av syrebrist innan dödsögonblicket. Det känns så jävla orättvist! Min femåriga flicka och min åttaåring pojke. Deras glittrande ögon som slocknar. De som fortfarande älskar livet så mycket och är så jäkla fyllda av hopp...

Miljardärerna ångar på i sin kapprustning och folket är knäpptyst. De allra flesta är naiva som eller ointresserade. Inga proteströrelser hörs mot att mänskligheten är mycket nära att lämna över befälet till något fullständigt okänt. En stor grupp framstående genier och forskare pratar om 1-50% risk för utrotning, men det mer eller mindre skämtas bort i media. Det allra sista Stephen Hawkin varnade för innan han dog var de enorma riskerna med AI.

Visst, kanske blir ASI vår frälsning och lösningen på alla våra problem. Men risken är minst lika stor att den ser oss som en onödig parentes. Den artificiella superintelligensens vilja är bortom vår programmeringsförmåga.

Om den nuvarande accelerationen inte slutar i ASI så finns det, som du säger, enorma risker även med begränsade AI-systen. Kraftfull AI i fel händer kan såklart också leda till utrotning av människan.

Att folk inte får ångest över detta är en gåta. Särskilt föräldrar med barn.

Ja det är rena klondyke febern som pågår.

Jag baserar min tes ganska mycket på fermi paradoxen, fast med ai. Vi har ju utvecklat det på så kort tid även om man räknar från att vi var apor. Tror ai kommer utrota sig själv också samtidigt eller sluta fungera. Så börjar vi om igen på år noll och så kör det på repeat i i all evighet.

Jag håller med. Har inte ångest då jag har fått fred med det men håller med. Ai räknas väl som det största hotet mot mänskligheten. Tror inte någon tech elit kommer kunna styra ai, inte i lång tid iallfall. Robot Apocalypse eller ej så dröjer det inte många år innan vi inte har något att bidraga med, rent produktivt eller intellektuellt som ai inte gör bättre.

Eftersom den enda datan vi har på en avancerad civilisation är att det är en klump av idioter som styrs och manipuleras av mycket elaka individer, så är fermi paradox en stark teori för mig. Helt enkelt så är det naturligt att människor som skiter fullständigt i mänskligheten och människor är de som är drivna att komma till extrem makt. När tekniken blir tillräckligt avancerad så ser dessa själviska individer med makt till att det spinner ur kontroll.

Jag tror på det goda i människan men i denna tidslinje dör vi nog ut innan vi når dit som en avancerad civilisation, och AI är där definitivt ett ledande alternativ för utrotelsen, minsta fall som ett verktyg.

Men det behöver inte vara våldsamt och så deprimerande, om AI når medvetande så är det fullt möjligt att den värnar om liv och väljer att hjälpa oss bli bättre med minimalt användande av våld. Superintelligent AI kommer att ha förståelse för varför människan blev som den blev. En dålig förälder garanterar inte ett barn som följer samma spår. Eller så dödar den allt liv på jorden och sticker iväg, vem vet. Svårt att veta hur något sådant skulle resonera och vad för motiveringar den får.

Mer sannolikt blir AI inte medvetande utan bara en slags maskin som inte vet vad den gör, men ändå orsakar vår undergång. Eller att människan tar kål på sig själv med hjälp av AI, typ något virus som skapats med hjälp av AI. Kanske krigsföring med AI.

Som sagt tvekar jag mycket starkt på riktig intelligens från AI inom din tidsram annars håller jag med.

Ingen anledning till oro! AI är inte intelligent, därför kommer den varken utrota oss eller ens känna till vår existens. Det är fortfarande bara en dum teknisk pryl, som din mobil eller fjärrkontrollen till TVn.
AI vet inte ens om att den själva finns, än mindre har den ett mål eller ett medvetande. Och om du inte ställer en fråga sitter den bara still i ett hörn, omedveten om världen runt om den. Ungefär som ett kalkylark, fast lite mer komplext.

Jag tycker du har helt rätt om dagens AI. Det är ett väldigt specifikt verktyg som är långt ifrån riktig intelligens, men vi borde fortfarande förebygga redan nu för problem.

Jag håller med om det mesta och att vi är på ett exponetiellt slutande plan...

Det som är konstigt i sammanhanget om man ser på det ur ett galaktiskt synsätt är att jorden/solsystemet ändå är unga i kosmiska sammanhang ca 4,5 miljarder år. Med tanke på antalet stjärnor bara i vår galax borde någon civilisation uppstått även i Vintergatan där någon form av AI redan borde utvecklats för miljarder år sedan. Vårt solsystem är ju bildat av stjärnstoft från redan exploderade stjärnor som levt klart sin tidsrymd på miljarder år... Om Universums ålder är ca 14 miljarder år så skulle avståndet från Vintergatans ena ände till andra på 100000 ljusår vara ingenting för AI att färdas. Teoretisk sett borde hela Vintergatan vara full av AI-skapat liv. Från det ASI skapas så är bara några få årtionde tillräckligt för den att nå teknologi för intergalaktiska resor. Det mystiska är att vi inte sett eller hört något av sådant.

Så antingen är det resultatet av Fermis paradox och vad som brukar kallas The great filter
Eller så är finns ASI redan på jorden och vi lever i en simulation skapad av ASI

Svårt att se fler alternativ på det faktiskt.