AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Min poäng är att det är irrelevant att överhuvudtaget "skriva lagar" med förhoppningen om att förekomsten av en sådan lagtext skulle hindra en ASI från att utrota mänskligheten.

HUR kommer mänskligheten utrotas?
Och NÄR kommer detta att ske?

Med den galopperande utvecklingen av AI i åtanke så är det förstås bara en tidsfråga innan någon av alla tiotusentals modeller antingen går bananas av sig själv eller missbrukas av någon mänsklig dåre.
Och om AGI och/eller ASI uppstår är det väl hyfsat troligt att människan blir överflödig. Oavsett vilket så ser väl chanserna för mänsklig överlevnad ganska dåliga ut.

För att själv svara på mina inledade frågor: De olika sätten vi människor kan utrotas är väl i princip oändliga. Vi är trots allt mycket fragila organiska varelser.

Min gissning på HUR vi kommer att utrotas är via en pandemi. Att bygga ett extremt smittsamt 100% dödligt virus klarar gissningsvis en normalbegåvad AI inom några år (om inte redan nu)
Att manipulera skiten ur någon enfaldig labbnisse (som råkar sprida skiten) bör inte heller bli en svår match för en någorlunda fiffig modell.

Detta är ju såklart bara ett av miljoner sätt vi kan ryka på. Det kanske kan mixtras lite med jordens atmosfär eller syret eller liknande, men särskilt svårt lär det ju inte bli.

Så mitt tips blir:

HUR: Pandemi/förgiftning
NÄR: Hösten 2026

Jag blir inte förvånad om vi får vara med lite längre eller lite kortare, men tyvärr är jag lite pessimistisk och ger oss 2-3 år. Max upp till 10-12. Men utrotningen kan såklart ske redan i år.

Tråkigt för våra barn, detta, men kapitalet och den mänskliga idiotin ska väl ha sitt...

Jag har bara sett början av videon och tycker att Chollet argumenterar väl. Men innan LLM "zommar in" till dess "meningsrymd" så måste väl modellerna, först "befinna sig i" en större "kaos-rymd med en massa orellaterade tokens, detta bör väl ge en viss chans för oväntat beteende och, mera sällsynt," kreativitet?

Jag förstår ärligt talat inte vad du pratar om. Det känns som du hittat på en egen mental modell om hur språkmodeller fungerar snarare än hur de faktiskt fungerar. Jag har redan förklarat för dig att om du vill förstå hur tex ChatGPT fungerar så kan du börja med att studera markovkedjor, det var för övrigt bland de första NLP försök som gjordes, nu är tex GPT lite mer avancerad eftersom det är ett utvecklat koncept men det verkar vara ett gravt missförstånd här och det är just det här med artificiella neurala nätverk, för en markovkedja är effektivt en lookup table, vad är en lookup table egentligen då? Det är en tabell där du kan slå upp ett givet värde för Y, vad händer tex om du i en lookup table spelar in tex vad sin(Y) blir för alla Y du har? Det ger en lista där du kan slå upp vad beräkningen av sin(Y) skulle vara för varje Y. Problemet är att en lookup table behöver lika mycket minne som den upplösning du försöker slå upp, så vad har vi då för alternativ? Ja tex ett artificiellt neuralt nätverk, som kan agera väldigt likt en lookuptable (eftersom det egentligen bygger på linjär algebra) där du med träning kan sofistikera kurvan du försöker slå upp.

Det har inget, absolut ingenting med tänkande, "modellering av världen" osv att göra. Det handlar enbart om kurvanpassning och att retrospektivt interpolera information (det är det som är grundpelaren i vad man önskar/hoppas på att nätverken ska generalisera, är de för exakta så blir det identiska till en lookuptable).

Så vad är det jag försöker säga? Att teoretiskt skulle en språkmodell fungera minst lika bra kanske tom bättre och exaktare med en lookup table, varför använder man inte det då? För precis av den anledningen jag beskrev ovan att en lookup table håller ett absolut värde för varje Y vilket snabbt kräver astronomiska mängder minne, medans ett neuralt nätverk approximerar funktionen av Y vilket är ett "kompaktare" eftersom du effektivt definerar en funktion för Y i stället för ett värde för varje givet Y. Det är hela orsaken till precis allt AI (i alla fall deep learning) i dag, och anledningen till "komprimering av data" i ett artificiellt neuralt nätverk. Det är inte mer magiskt än så, därav också anledningen det är enormt frustrerande och rent av löjligt att läsa när personer hittar på sina egna teser om hur saker och ting fungerar med AI när de uppenbart inte förstår ens det mest grundläggande om hur det faktiskt fungerar.

Du kommer aldrig någonsin kunna diskutera dig fram med ChatGPT hur det fungerar i sig, eftersom modellen helt enkelt inte vet det.
Och huvudsaken jag försöker demonstrera här är att en markovkedja fungerar i effekt identiskt med hur GPT gör givet man tar hänsyn till n-input tokens antal tidigare inmatningar.

Jag har förövrigt själv experimenterat med detta för 15-20 år sedan, en 1-gram markovkedja ger kreativ text men grammatiskt felaktig, ju mer du ökar antalet tidigare grams du tar i avseende så får du grammatiskt korrekt och faktuell korrekthet, det du däremot inte får är massa "hallicinuationer" eftersom det är ett resultat av sampling utanför distributionen och där en lookuptable ger 0 resultat om du befinner dig utanför distributionen så gör inte ett neuralt nätverk det, i kombination med att du använder softmax som normaliserar alternativen så är dessutom out-of-distribution lika "sant" för GPT som in-distribution.

Bråka snällt nu killar.

Är det totalt omöjligt att ha en diskussion utan att börja kalla varandra för idioter i var och varannan mening?
Det hela reduceras ned till någon form av kukmätartävling där det blir viktigare att bemästra den andre istället för att faktiskt framföra sin poäng.

Ja, vi förstår hur dessa modeller fungerar rent tekniskt, vilket är en stor anledning till varför det går att förbättra modellerna mellan varje generation.

Nej, vi förstår inte exakt vad dess embeddings faktiskt representerar eller vilka mönster de upptäcker under träning.

Så ja, vi vet vad som händer när vi ställer en fråga till ChatGPT, men vi vet inte varför den svarar exakt som den gör.

Typ så?

Det måste ske någon form av genombrott för att AI ska göra skillnad.

Om man jämför olika modeller av olika storlek så är inte en dubbelt så stor modell dubbelt så bra.

Och för att det ska göra skillnad så måste effektiviteten skala mer än storleken.

Det gör det inte än.

Då vet man inte hur de fungerar. Det är därför företagen som tillverkar systemen inte hur en susning om vad de är kapabla till förrän de tränats i månader och man sedan tittar efter. Då upptäcker man gång på gång att de är kapabla till saker man varken avsett eller ens kunnat föreställa sig. Säkerheten är ungefär lika med noll.

Som bäst kan de titta på någon enskild nod och se hur den fungerar i nätverket, men när det kommer till helheten eller till och med kluster av noder har de ingen susning om vad som försiggår.

Det finns inga "emergenta egenskaper" det har forskats på av flera oberoende team, tex

https://arxiv.org/abs/2309.01809 och https://arxiv.org/abs/2304.15004

Gå och läs på i stället för att koka ihop något som du läst eller hört någon säga i någon gammal PR kampanj.

Att hitta en studie som säger något visar ingenting. Vissa forskare ifrågasätter att LLM:er uppvisar plötsliga och oförutsägbara förändringar i sina förmågor när de ökar i skala, många gör det inte.

Att de uppvisar förmågor som ingen hade avsett eller förutsåg är dock bara fakta. Det sker precis hela tiden. En till sak som sker precis hela tiden är att de jailbreakas till att göra eller bete sig på ett sätt som inte var avsett av tillverkaren.


Ska du inte leka med dina markovkedjor, clown?

Så ge underlag för detta då, vilka seriösa forskare ifrågasätter detta? För mig veterligen är det bara Googles och Microsofts PR avdelning med sebastien bubeck i spetsen som producerat papper om detta och vad tror du det beror på?

Ja och jailbreakandet beror på att det just inte är något annat än ett dumt kurvanpassande nätverk, det finns redan i dag forskare som kan med högprecision styra precis vilken output de vill ha från nätverket genom att mata in vad som ser ut tillsynes skräp.

Men du kan svamla på hur mycket du vill, du har inte presenterat något som stödjer dina påståenden.

Din ståndpunkt låter som en balanserad sådan:
Vi vet inte exakt vad modellens interna representationer (embeddings) betyder eller vilka specifika mönster den upptäcker under träning. Men vi har en robust teknisk förståelse för hur AI-modeller fungerar och kan förbättra dem över tid.

Du menar egentligen att vi vet hur källkoden ser ut för mjukvaran som tränar de enorma språkmodellerna? Ja, det stämmer ju. Det är bara att titta på källkoden, då förstår den dom är insatt i AI-mjukvara i princip vad koden gör. Har någon ifrågasatt att det är så? Handlar debatten om det? Nej. Debatten handlar om resultatet av träningen, om modellernas komplexitet och oförutsägbarhet. T.ex att de gör saker som utvecklarna aktivt har försökt förhindra (t.ex att ge ut recept på knark och bomber) samt problemet att ingen vet varför den gör så eller hur man kan stoppa det. Och att detta är ett extremt allvarligt säkerhetsproblem som kommer att bli mycket värre i takt med att modellerna växer ytterligare och blir mer komplexa än vad de redan är. Samtidigt består försvaret mot detta i dag endast av en idé om att det kanske vore bra om vi rent tekniskt kunde ta reda på vad en tränad modell i sin helhet faktiskt kan göra. Den tekniken existerar inte i dag. Tycker du att detta är bra förutsättningar för att bygga en säker AGI (Open AI:s uttryckliga mål)?