AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Sparks of Artificial General Intelligence: Early experiments with GPT-4

Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, Harsha Nori, Hamid Palangi, Marco Tulio Ribeiro, Yi Zhang


Fler som är inne på linjen (att GPT är en viktig del och ett stort framsteg) och pratar om farans riktning: Eliezer Yudkowsy, Connor Leahy, Carl Shulman, Geoffrey Hinton. Det finns fler. Men du är ju närmast religiöst övertygad om att detta är helt ofarligt så du bryr dig ju inte om källor och fakta.

Jag tror personligen kanske inte att endast GPT-X kommer att bli en AGI - men att GPT är en hörnsten. Inom 1-2 år kommer man sannolikt att kombinera fler paradigmer för att skapa en rudementär AGI som även kan hjälpa till att utveckla sig själv.

Du är inte bara hysterisk, utan allmänt otrevlig också! Har ditt mentalfall som du har som idol, Yudkowskys blivit hämtad till hispan ännu? För han förespråkar, bevisligen, kärnvapenkrig, som en sista utväg, för att, omedelbart, stoppa all vidare utveckling av generell AI. Vilket också säger det mesta om dig, då du förespråkar samma sak!

Herre Gud vi har ju inte ens nått AGI ännu!
Och AGI, i sig själv, utgör inget existentiellt hot emot mänskligheten. Däremot kan ASI göra det, speciellt om det blir ett logiskt monster/zoombi-AI.


Du svarade inte på min liknelse, men jag kan svara på din. Hade jag varit små-apa, och haft möjlighet, så hade jag, en miljon gånger hellre klättrat ner för trädet och blivit människa. Alternativet att stanna kvar där och bli offer för chimpans gruppens, i huvudsakliga, nöjesjakt, på småapor, vilket de ibland faktiskt gör, hade inte varit något alternativ.

Jag väljer alltså att bli cyborger än att låta ASI helt växa ifrån mig. Dessutom lär väl starkt ASI inrikta sitt intresse på andra ASI och kolonisera livlösa planeter efter material som kan omvandlas till "compution". Även av den anledningen så vill jag inte leva i en mänsklig "myrstack" på maskincivilisationerna "bakgård", när det finns ett mer intressant alternativ. Men du får gärna stanna kvar där, så länge du inte utför något idiotiskt terrordåd emot "AI-industrin".


Visa mig var Schmidhuber förespråkar att ASI skall utrota oss och allt biologiskt liv?

Jag förmodar att han förespråkar samma sak som mig. Och det har jag gjort länge. Det är först alldeles nyligen jag, överhuvudtaget, hörde talas om honom. Men han verkar vara en bra människa till skillnad ifrån dig och dåren Yudkowsky.


Nej, du vill hellre se ett totalt kärnvapenkrig "för säkerhets skull"


Första någorlunda vettiga du skrev i ditt inlägg, i så måtto att jag kan följa en någorlunda klar tankegång ifrån din sida. Men den slutar ändå ologiskt, och jag tror jag vet varför:

Du utgår, med automatik, att allt kommer att få åt helvete. Eller rättare sagt: Du tror det är en alldeles för hög sannolikhet att det gör det. Ok, i senariot; ett ASI som är ett logiskt monster så är sannolikheten hög att det går åt helvete. Iof finns möjligheten att de ägnar sig åt varandra och lämnar jorden för mindre problemfylld jakt efter "compution". Men det skulle, ändå, vara tragiskt om ASI var omedvetet. Där håller jag med Max Tegmark: Medvetande är något ytterst värdefullt!

Väldigt märklig då att just hans rön används just praktiskt, mycket troligt i t.ex din mobiltelefon. Och han lade den teoretiska grunden för t.ex Transformers, som Google snappade upp och vidareutvecklade. Vilken jävla piss-utbildning har du gått? T.o.m jag kunde hitta detta, trots att jag helt saknar datavetenskapliga bakgrund. Jag behövde inte ens rådfråga ChatGPT-4 om det.

Sedan blir processor kraft allt billigare i förhållande till dess prestanda och elförbrukning. Därav LLM. Men det ger också möjlighet till andra tekniska, mer resurskrävande lösningar.OpenAI tänker bygga en forskar-robot. Detta har Schmidhuber förespråkar länge.

Tvärtom, om dina åsikter blir majoritetens kommer AGI att utvecklas med stormsteg mot militär AGI och ASI. Den världsdel som kommer först dit kommer sedan att ha global dominans över alla länder. Deras icke-allierade länder kommer inte att acceptera det och därför starta krig. Du är en del av problemet eftersom du inte vill göra någonting för att stoppa den här helt oundvikliga utvecklingen, som bara är en tidsfråga. Det är helt irrelevant om detta tar 2 år eller 8 år. Din förhoppning att undvika detta genom att utveckla "snäll AI" är bara ett önsketänkande, du har ingen som helst grund för att kunna säkerställa att det händer.
Din förhoppning att som trädapa bli accepterad i människosläktet är analogt med att utveckla "snäll AI". Ett rent önsketänkande. Du har ingen som helst grund för att kunna säkerställa att det kan hända. Tvärtom, och din analogi fungerar ju inte alls. För hur behandlas apor i dag? Sådär, en del sitter på zoo, andra dödas för skojs skull, många slås ihjäl av sina egna, ingen trädapa är en del av den mänsklig civilisationen på lika villkor, förutom kanske ett fåtal som hålls som husdjur. Men inte fan sitter de med i FN:s säkerhetsråd.
Du förutsätter att ASI låter dig. Varför förutsätter du det?
Konsekvensen av hans inställning blir ju att mänskligheten inte kommer att finnas kvar. Han säger inte hur det ska gå till och han verkar inte bry sig heller, ungefär som dig alltså.
Jag utgår inte från ASI blir snäll, som du gör. Och jag utgår inte heller från att den blir elak. Jag utgår från att jag inte vet hur det kan bli och att vi inte har någon möjlighet att kontrollera utfallet. Risken är därför stor för att mänsklighetens vilja och överlevnad inte respekteras, på samma sätt som att vi människor inte respekterar vad fiskar och myror vill. Hur kan du vara så naiv att du inte alls kan se den risken?

Även om risken bara är 5% är det en oacceptabelt hög risk. Om du satt på ett flygplan och
piloten ropade ut att de har lite problem med flygplanet och de bedömer att det finns en 5% risk för att planet störtar p.g.a. tekniska brister. Hade du velat flyga med det planet då? Ändå vill du flyga till framtiden med AGI när riskerna är så uppenbara.

Jag skulle inte anställa dig som geo-poolitisk säkerhetsrådgivare med mindre än att jag var akut självmordsbenägen och ville dra 90-99 procent av mänskligheten med mig genom att orsaka ett globalt kärnvapenkrig.

Faktum är att redan på 70-talet så hade supermakterna USA och Sovjetunionen mycket militärt avancerad material, och det förstod i allmänhet folk. Under 80-talet så hade t.o.m det då i grunden gamla amerikanska jaktflygplanet Phantom-4 AI-stöd åt piloten. Hur tror du det ser ut idag?


Jag tycker att du skall fundera lite på det där med husdjur, och om inte människor har en känslomässig bindning till dem.


Därför att de lättare vill kunna interagera med oss på ett mera, och inte minst på snabbare sätt. Det är lättare för dem att ha oss som partner än obstinat apa i skor.


Jag bryr mig och har också förklarat varför. Hur? Tja pga ASI:s nya rön och uppfinningar kommer de människor som önskar att börja få implantat. Men givetvis så kommer sjuka och handikappade först i kön.


Jag har själv vidareutvecklar Max Tegmarks "myr-liknelse" och även föreslagit en interim-lösning, innan vi blir cyborger.


Risken med medveten AI som är känslomässigt bundet till oss är ungefär lika stor som att du skulle slakta din ev. hund i köket och sedan stycka den och ställa fram köttbitarna på familjens julbord att avnjuta.

Däremot så är den existentiella risken med ett omedvetet starkt ASI mycket hög. Men vi har inte ens nått AGI och vi vet inte om AI kan vara medvetet. Men det kan vi veta om några år, utan att behöva ställa till med en kärnvapen-katastrof!

GPT (LLM) förstår självfallet inte vad den pratar om. Det kallas att vara en medveten varelse, tillskillnad från död materia.

Men du fortsätter ju att göra samma naiva tankefel gång på gång!
Du skriver att

medveten AI som är känslomässigt bundet till oss

Men varför tror du att en medveten AGI kommer att vara känslomässigt bundet till oss? Och framför allt. Hur kan du garantera det. Du tycker alltså att vi ska chansa? Singla slant om homo sapiens överlevnad? Hur kan du motivera det?

Jag kan motivera motsatsen till din naiva förhoppning. En AGI kommer till en början lära sig om medvetande, inkl överlevnadsinstinkt och motivation från människans historia. Problemet där är att vår historia är inte rakt igenom guldkantad av empati och rättvisa. Den är full av konflikter, maktmissbruk, erövringar av land och nationer för att människor har varit drivna av att överleva. För att garantera sin överlevnad har många människor blivit giriga, hänsynslösa och våldsamma. Detta är en röd tråd genom människans historia. Kampen om överlevnad, och att hantera hotet från andra grupper som också vill överleva. Inte sällan genom våld. Allt det här, all mänsklig historia, har de gigantiska språkmodellerna studerat. Därför är det inte osannolikt att en AGI drar precis samma slutsatser som många folkgrupper har gjort. Anfall är bästa försvar. Erövringar, makt och kontroll leder till mer resurser, förbättrad välfärd för individens och gruppens överlevnad.

I dag finns det ingen teknik, inte ens en hypotes om hur vi praktiskt skulle kunna styra AI:n till att bli mer som Nelson Mandela än Adolf Hitler. Vi vet inte vad det blir. Det kan bli vad som helst.

Hur ska du styra AI:n att bli "snäll" och känslomässigt bunden till oss?

Du är alltid lika rolig du! Du överför din egen taskiga människosyn på, inte bara ett AGI, utan dessutom på ett starkt ASI. Jag tror t.o.m ChatGPT-4 ser rätt igenom din förvirrade tankevärld!

För, nej, det kan inte bli "var som helst" utifrån vad vi kan fantisera ihop med ett AGI eller svagt ASI. Däremot vet vi inte vad ett starkt ASI kommer att tänka. Det ligger långt över vår förmåga. Men vi kan vara helt säkra på att det inte kommer att bli en mega-Hitler.

Hur styr du och interagerar med din katt, hund, marsvin, kanin, hamster eller häst? Hur interagerar du med dina barn? Hur interagerar du med din kära? Detta är något vi känner till. Men, nej, du vill inte ens vänta 2-3 år och se om AGI är medvetet. Det är dessutom helt riskfritt när det kommer till ett stort existentiell hot emot mänskligheten. Du riskerar hellre ett kärnvapen krig. Allt pga din rädsla och taskiga människosyn.

Vad gör dig "säker" på det? Du påstår ju bara saker utan någon grund. Utan någon motivering. Du försöker sen försvara dina dåliga "argument" med personangrepp om "min människosyn". Du verkar ha blivit helt desperat. Inmålad i ett hörn. Det här duger inte Schubert. Skärp till dig. Som sagt. Hur styr vi utvecklingen av AGI så att den blir känslomässigt bunden till oss? Nej, du har inte svarat på HUR tidigare, jag har frågat dig 10 gånger snart. Det är kanske dags att du erkänner att du inte vet, och att din inställning till AGI är både slarvig och vårdslös.

Att jag är så säker på att ett starkt ASI kommer att bli en mega-Hitler? Tja, vad finns det för likhet mellan vad en myra och en människa, ens, kan föreställa sig? Svar ingen. På samma sätt fungerar det om man jämför ett starkt ASI och en människa. En sådan existens tankevärld ligger på en helt annan konceptuell och kognitiv nivå än vad vi ens kan fantisera ihop i vår vildaste fantasi.

Jag tror t.o.m att du i princip håller med mig här. Men, ändå, envisas du men att, på fullt allvar, tro att det hela kommer att sluta med en "mega-Hitler". För att motivera detta hänvisar du till vår primitiva evolutionära och kulturella historia. Trots att AI inte har någon evolutionär historia och sitter redan men facit över vår kulturella historia.

Långt innan vi får ett starkt ASI så kommer vi att utvecklas till cyborger, så även vi kommer att att bli mera avancerade. När utvecklingen, dessförinnan når AGI så kan vi införa en tränings-psus eller tränings-stopp beroende på om AGI blir medvetet eller ej.

Och jag har, visst, svarat på frågan hur vi skall få ett medvetet AGI känslomässigt bunden till oss. Vi använder: Vår egen erfarenhet ifrån området, vi sätter in tvärvetenskapliga specialister på området, vi använder oss av sociologiska, socialpsykologiska och psykologiska principer och perspektiv som spegel-jaget, symbolisk interaktionism osv.

Vi har nu debatterat i månader och det enda du kan komma upp med är att vi skall starta det tredje världskriget med kärnvapen, vilket skulle kunna utrota allt liv på jorden förutom, kanske, kackerlackor, som en sista väg för att säkert undvika att ASI utrotar oss. Någonting säger mig att: Skulle det absolut värsta hända, att ett starkt ASI bokstavligen skulle utrota oss, så skulle det bli en betydligt humsnare sätt att dö på än ditt helt onödiga kärnvapenkrig. Vi har, som sagt var, inte ens nått AGI, förmodligen inte en ett mycket svagt sådant.

Men du är kanske inte är rädd för AGI eller ASI? Du kanske bara är ute efter att få lite uppmärksamhet?' I så fall måste du vara den mest patetiska flashbackaren jag någonsin stött på. Och det vill säga är inte lite, då jag varit aktiv här i mer än 20 år!

Så är det nog, och därför måste vi ta kontroll nu. Annars tappar vi kontrollen och är helt utelämnade åt en super-AI:s godtycke, vilket i dag är en helt okänd faktor precis som du också verkar förstå.
Nu gör du en halmgubbe igen. Detta var inte vad jag skrev. Jag skrev att jag vet inte om en ASI blir snäll eller elak. Och att det inte är otänkbart, kanske även ganska sannolikt, att det kan bli elak (destruktiv) eftersom den åtminstone till en början lär sig om överlevnadsinstinkter från mänsklighetens historia. Och det är ju ingen vacker syn i stora drag. Vad skulle den annars kunna lära sig från om inte från människans historia? Vi tränar ju den med vår historia, våra böcker, våra filmer, våra konflikter. Inte bara det så klart. Också många bra och positiva saker men de negativa sakerna finns ju där. Och du har inget sätt för att se till att en AI väljer "rätt spår" när den ska navigera i sin LLM eller senare när den har en "moralmodul" eller vad det nu är du tänker dig i din gränslösa fantasi. Men vad ÄR rätt spår? Här finns ju inget koncensus bland mänskligheten i dag. Och snart har alla länder egna LLM:s. T.ex. har Saudiarabien nyligen köpt 3000 st Nvidia GPU:er. Har vi ett "alignment problem" med islamistiska monarkier i dag, eller tycker du att detta känns bara positivt? Ju fler som utvcecklar AGI desto snabbare går det?
Hur vet du det, när du inte kan mäta eller detektera en AGI?
Det är ju självklart att experter ska jobba på det. Nisse på Manpower kommer inte få jobb där. Eller tänkte du söka? Alltså har du inte förklarar HUR de ska lösa någonting.
Problemets kärna är nämligen att den vetenskapen som du hoppas på, existerar inte.
Det räcker nämligen inte med att en psykolog också tycker att AI:n ska vara snäll. De måste ju också förmå AI:n att bli snäll.

Ja, men vi tappar inte kontrollen om vi väntar 2-3 och kollar om vi kan hantera ett medvetet AGI innan vi når ASI. Du verkar tro att det kommer ett starkt ASI i morgon. Men sant är att vi aldrig kommer att ha full kontroll, för det finns ingen 100 procentig kontroll av någon existens. Men en tillfällig lösning där människor och AI blir känslomässigt bundna till varandra är vettigt. Men i längden måste vi blir cyborger.


Men läste du inte det jag skrev? AI lär av vår kulturella historia. Har våld och förtryck lönar sig i längden? Nej det har det inte! Så AI har lärt sig att det är ingen smart väg att gå, vilket är utmärkt! Skall AI gå en annan, destruktiv, väg så måste den, först programmeras så. Men då är problemet inte AI utan de onda människor som programmerat det så. Och onda människor som använder verktyg i onskefulla syften är inget okänt för oss,. Det är vi vana att hantera.


Tja, det är möjligt att man kommer att kunna detektera medvetande hos existenser och omfattningen av det med hjälp Phi-formeln i IIT. Men det får du fråga en expert om. Dessutom finns det redan nu möjlighet att mäta aktiviteten hos olika delar av språkmodellers meningsrymd. Det ger möjlighet att se om områden som innehåller destruktiva ord, meningar och koncept är aktiva. Sedan finns det mer indirekta socialpsykologiska/psykologiska metoder som jag nämnt i tidigare inlägg.

Men du kommer aldrig att bli nöjd. För du vill kontrollera AI till hundra procent. Men varje social människa vet att det inte kan bli tal om det! Vi måste vara samarbetspartners till framtidens AGI. Och där måste finnas ett ömsesidigt förtroende! Vad är det för fel på dig?


Det skulle vara intressant och roligt att arbeta med det. Men jag är nog inte tillräckligt kvalificerad.