AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Sant. Folk är redan helt bortdribblade av algoritmer.

Jag har många vänner som har köpt hela åsiktspaket baserat på vad som "dyker upp" i deras flöden på mobilen.
De har helt slutat att tänka självständigt.

Och som du säger: De flesta vet inte ens om det.

Ditt resonemang präglas av önsketänkande.

Du tänker dig att en AGI skulle bli 10 000 gånger smartare "än oss" (vem menar du? En enda person eller hela mänskligheten tillsammans?) genom att den når singularitetstillstånd.

Den använder potentiellt en energikälla som inte är el som är ...? Elektricitet är förhållandevis enkelt att få tag på och sedan driva saker med. Att en smart AGI skulle klura ut någon annan energikälla genom bara sin egna kapacitet är mer önsketänkande. Vi har funderat ut hur man kan klyva atomer för att få nog med värme för att koka en massa vatten för sedan driva ångturbiner med i kärnkraftverk. Det fordrar en hel del arbete för att det ska bli till, men vi har listat ut hur det kan göras.

Att vi kan tänka oss en Stålmannen-liknande AGI som kan göra vad som helst är inte samma sak som att det faktiskt är möjligt för en sådan att finnas. Fysikens lagar gäller i verkligheten och då även för en supersmart AGI.

Något verkar vara osannolikt men då hoppar du in och säger ungefär att "om det bara var en smart nog AGI så skulle det vara möjligt för AGI:n att ta över världen" - du hoppas att en AGI smart nog skulle kunna bli till, så att det passar in i din världsbild där en är möjlig. Genom att sedan anta att din hoppfullhet stämmer med verkligheten så tänker du dig att det också kommer att ske.

Domedagsscenariot med ett AGI-utvecklat luftburet virus är science fiction-fantasi.

Ditt resonemang präglas av önsketänkande.

Du tänker dig att en AGI skulle bli 10 000 gånger smartare "än oss" (vem menar du? En enda person eller hela mänskligheten tillsammans?) genom att den når singularitetstillstånd.

Den använder potentiellt en energikälla som inte är el som är ...? Elektricitet är förhållandevis enkelt att få tag på och sedan driva saker med. Att en smart AGI skulle klura ut någon annan energikälla genom bara sin egna kapacitet är mer önsketänkande. Vi har funderat ut hur man kan klyva atomer för att få nog med värme för att koka en massa vatten för sedan driva ångturbiner med i kärnkraftverk. Det fordrar en hel del arbete för att det ska bli till, men vi har listat ut hur det kan göras.

Att vi kan tänka oss en Stålmannen-liknande AGI som kan göra vad som helst är inte samma sak som att det faktiskt är möjligt för en sådan att finnas. Fysikens lagar gäller i verkligheten och då även för en supersmart AGI.

Något verkar vara osannolikt men då hoppar du in och säger ungefär att "om det bara var en smart nog AGI så skulle det vara möjligt för AGI:n att ta över världen" - du hoppas att en AGI smart nog skulle kunna bli till, så att det passar in i din världsbild där en är möjlig. Genom att sedan anta att din hoppfullhet stämmer med verkligheten så tänker du dig att det också kommer att ske.

Domedagsscenariot med ett AGI-utvecklat luftburet virus är science fiction-fantasi.

Varför tror alla att AI måste ha som mål att leva vidare i all evighet. AI är att betrakta som den värste psykopat-narcissit-sociopaten.

Dess mål KAN vara att vara bäst, att ta egna beslut och därmed nöja sig med vinsten att utplåna människan för att därefter själv dö om den inte själv kan förse sig med ström och nya komponenter.

Det finns redan otal människor genom tiderna som resonerar liknande, de mördar ur sitt perspektiv att andras liv är onödigt lidande och de vill forkorta lidandet.

Jag hoppas verkligen att du har rätt.
Jag har flera gånger tidigare i tråden uttryckt en förhoppning om att just fysikens lagar ska sätta vissa gränser för en framtida superintelligens.
Men tyvärr tror jag att en jag en singulär intelligens som är högre än vår (låt oss, för att vara blygsamma, säga 10 gånger smartare än världens smartaste människa) är högst kapabel att komma med en snillrik plan för att utrota mänskligheten om den så ville.

Så min fråga till dig är: Vad får dig att tro att en framtida hyper-intelligent AGI inte skulle kunna utrota oss om den vill det?

Sedan tror jag du missförstod mig. En AGI med kapacitet att utrota mänskligheten är ingen dröm för mig. Jag har fyra barn i åldrarna 4 till 21 år. Scenariot jag beskriver ser jag snarare som min värsta mardröm.
Dessutom är jag helt ointresserad av sci-fi-genren

För att en intelligent AGI ska kunna vilja något så fordras först att den har förmågan att uppleva en känsla av det. Vad är vilja? Vad är roten till vilja? Kan vilja uppstå i en maskin? Det rör sig om filosofiska frågor och ska man ska försöka besvara dessa i en kontext som inbegriper mer än mänsklig vilja, då blir det genast svårare.


(ur The Talos Principle)

Om flexibel vilja kan uppstå i en maskin är som du säger svårt att förutspå.
Men låt oss säga att vi programmerar en AI till att försöka lösa klimatfrågan.
Då kommer den troligen att vidta vissa åtgärder för att nå sitt mål.
I och med sitt uppdrag har den fått en framåtlutad process att förhålla sig till.
Den har fått en inbyggd vilja att slutföra sitt uppdrag.
Att den sedan råkar utrota mänskligheten i en åtgärd för att rädda klimatet blir mer en miss i kalkyleringen, men går det inte då att härleda vår undergång till just AI:s vilja?
Även om den inte menade att göra något ont...

Om ni ska studera vad som pågår som inte fått samma medial uppmärksamhet som chatt-bottarna, samt som verkligen närmar sig vad som skulle kunna låta som en kandidat, då är det i Sverige det händer.

Några länkar men finns bättre om ni söker. Vill mest visa tidsaxeln.
https://sverigesradio.se/artikel/6661579
https://www.forskning.se/2021/11/30/hjarnliknande-datorer-jobbar-snabbare/
https://theconversation.com/tech-firms-are-making-computer-chips-with-human-cells-is-it-ethical-183394

Om flexibel vilja kan uppstå i en maskin är som du säger svårt att förutspå.
Men låt oss säga att vi programmerar en AI till att försöka lösa klimatfrågan.
Då kommer den troligen att vidta vissa åtgärder för att nå sitt mål.
I och med sitt uppdrag har den fått en framåtlutad process att förhålla sig till.
Den har fått en inbyggd vilja att slutföra sitt uppdrag.
Att den sedan råkar utrota mänskligheten i en åtgärd för att rädda klimatet blir mer en miss i kalkyleringen, men går det inte då att härleda vår undergång till just AI:s vilja?
Även om den inte menade att göra något ont...

Hur en fullt utvecklad AGI skulle förse sig själv med el är nästan ickefråga i sammanhanget.

En framtida superintelligens fungerar troligen i förlängningen helt annorlunda än vad både du och jag kan föreställa oss.
Den kanske använder sig av andra energiformer än just el, vad vet vi?

Men låt oss förutsätta att den behöver el. Varför skulle den exempelvis inte kunna släppa ut ett virus som utrotar mänskligheten INNAN du hinner rycka ut sladden?

Nej, den behöver naturligtvis inte rent fysiskt blanda ihop viruset i ett labb, men den räknar ut vilka komponenter som krävs för att sätta ihop ett luftburet dödligt virus.
Därpå manipulerar den labbpersonalen att blanda till viruset, varpå den manipulerar budkillen som ska leverera "provet" till andra sidan stan så att han i stället häller ut det i en papperskorg på en T-bane station.
Sedan är det över på ett par dagar, oavsett hur mycket du står och rycker i sladden.