AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Tack, verkar vara ytterst intressant! Vi får se hur jag upplever intervjun, för jag skall absolut titta på den! 🙂

Hm, du och jag upplever denna intervju helt olika. Sant att han räknar med ett AGI 2028, (med mindre sannolikhet 2025 och fram till dess). Men han verkar nästan tala om ASI, då, allt kognitivt arbete räknas in, inte bara det ekonomiskt betydelsefulla. Han ser heller inte någon "vägg" framför oss vad gäller att åtgärda brister. Två saker pekas ut; epiosodiskt minne och bättre resonerande förmåga, (system 2). Han tror att detta kan lösas. Det förstnämnda hänger också samman med att kunna lösa "The alligement problem" då uppkomsten av etik och moral kräver resonerande förmåga och inte att något bara "spotas ut". I den nära framtiden pekar han på multimodualitet och massor av nya tillämpningar.

Frågade om sodom och gomorra . AI sa inget.

Har du verkligen tittat på videon? Eller bara använt något AI verktyg för att försöka summera det?

För först och främst "2025 eller fram till dess - 2028" är inte alls vad han säger, Det är något som de diskuterar utifrån en bloggpost som Shane skrev 2011 (dvs långt innan det fanns några transformers eller stora språkmodeller av den typ som existerar idag)... Och frågan rör hur han kom fram till de förutsägelserna innan dagens arkitektur ens fanns (eller ens ImageNet som nämns- som är en databas med bilder som används för träning av nätverk) och han berättar då att det var inspirerat av Kurzweils 2001 förutsägelse och citerar sedan vad Kurzweil skrev att 2020 så har vi processing kapacitet och kan träna modeller med mer data än någon människa någonsin under en hel livstid kan läsa (vilket är precis vad som hänt... men vi har fortfarande inte någon AGI så förutsägelsen är inte helt korrekt)

https://www.vetta.org/2011/12/goodbye-2011-hello-2012/ (Det är denna de diskuterar)

Sen säger han "så, ja jag tror att det är en 50% chans att AGI inträffar 2028; men nu är det bara en 50% chans och jag är säker på vad som kommer hända är att det blir 2029 och folk kommer säga, Shane du hade fel, kom igen- jag säger det är bara en 50% chans, det är rimligt det inträffar men jag kommer heller inte bli förvånad om det inte inträffar eftersom det är vanligt man kör in i oförutsedda problem inom forskning och vetenskap, men för mig så ser det ut som att alla kända problem just nu kan lösas med några ytterligare års forskning"

Han är också är väldigt tydlig med att AGI han pratar om (och inte någon ASI) enligt den definition som han använder innebär att en modell är motsvarande en människa på samtliga kognitiva uppgifter som en människa idag kan utföra.
Han påpekar att det är något som saknas i dagens modeller (läs arkitektur) eftersom de måste titta på tusentals exempel vid träning för att lära sig medans en människa kan lära sig från enstaka exempel.
Han är väldigt tydlig med att detta är något arkitekturellt av naturen och inte en fråga om att skala upp nuvarande modeller.

Åter igen, ja, 50 procents chans för AGI 2028, (där bellkurvan börjar 2025).Konventionella definitionen av AGI är att ett AI skall kunna utföra alla ekonomiskt betydelsefulla kognitiva uppgifter som "genomsnitt människan" kan utföra. ASI brukar definieras som när ett AI överträffar mänskliga experter på samtliga kognitiva området. Shane Legg har en klar dragning åt ASI när han pratar om att ett AGI skall klara alla kognitiva områden som man överhuvudtaget skall kunna tänka sig att människan klarar av. Dessutom säger han att AGI, helt, bör överträffa människan på, åtminstone, vissa av dessa områden. Så en klar dragning åt ASI i Leggs definition av AGI.

Dessutom säger han, ca fem minuter in i intervjun, att han inte ser någon "Wall" framför sig vad gäller LLM. Det finns mer att säga om detta, men det tog jag översiktligt upp i mitt tidigare inlägg. Jag hoppas att läsaren, själv, ser intervjun och bildar sig en egen uppfattning, för det är ett mycket intressant samtal! Nu måste jag upp och göra annat.

Var har du hittat att den konventionella definitionen är just det, mycket märkligt eftersom Shane Legg och Ben Goertzel är de som brukar krediteras för att de populariserade och definierade termen.

De enda som verkar definiera AGI annorlunda är OpenAI, man kan fråga sig vad det beror på...

Ja han säger det i kontexten ny arkitektur.

Precis som tolkat här https://medium.com/@oscarmoxon/shane-leggs-predictions-about-agi-96f0ad014491

"Notably, LLMs miss something in the middle (this is what the “Reversal Curse” paper talked about; the model cannot deduce things without seeing them written down. It effectively files the information in its brain away within weights, without organically deducing the critical relationships between them). A strong model should unify these three domains, and these probably involve using other architectures.
Addressing episodic memory in language models is doable over the next few years. More research and work will solve shortfalls we see at the moment, regarding delusions and information grounded-ness. There are many paths forward now."

Självklart så kommer det att krävas en ny arkitektur eller stora förändringar av LLM:s arkitektur för bättre resonerande förmåga, (och därmed en etisk/moralisk kapacitet hos modellerna), så de inte bara" själlöst" spottar ur sig ett svar, (som de, för övrigt är oförmögna att identifiera fel på, såvida inte användare påpekar det). Jag vill också tillägga att jag menade resonerande förmåga och inte episodiskt minne i ett tidigare inlägg när jag hänvisade till etisk/moralisk förmåga hos en modell.

Vad gäller definitionen av AGI, (och ASI), finns ingen konsensus. Men det är intressant att både Legg och Goerzel poängterar bättre resonerande förmåga för att en etisk/moralisk agent/existens skall kunna skapas. Allt hänger dock samman om man tänker sig följande:

Tänk dig en bellkurvan där sannolikheten för att skapa ett AGI redan 2025 är låg. 2028 så är den 50 procent. Strax efter 2030 så är den hundra procent. Den andra halvan av bellkurvan visar sedan sannolikheten för att vi inte skall ha skapat ett AGI. OpenAI säger att ett AGI skall klara de ekonomiskt betydelsefulla kognetiva områden som, genomsnitt människan, klarar av. OpenAI hoppas på ett ASI innan 2030, alltså att man innan dess skapat ett AGI enligt företagets egen definition av det begreppet. Så när väl OpenAI skapat sitt ASI så kommer Legg att beteckna, det som ett AGI!

Jag själv har en ytterst hård definition av AGI som mer lutar åt Leggs definition av begreppet när det kommer till kognitiv förmåga. Dessutom kräver jag att den entiteten/existensen, åtminstone skall ha någon form av rundimärt medvetande. Men jag vill inte blanda in detta i debatten för att undvika ytterligare förvirring.

Hur som helst: Vi kan räkna med AGI/ASI senast strax efter 2030, vilket, i sig, är ytterst imponerande!

Vänta lite nu... jag hänger inte med.

Min förståelse är att Legg pratar om log-normal distribution, du pratar om gaussisk fördelning (gausskurva), som jag inte förstår hur du lyckats komma fram till utan en standardavvikelse till att börja med.

Leggs log-normal distribution har enligt hans 2011 förutsägelse

typvärde på 2025 (Det år som AGI skapas som är mest förekommande distributionen)
medelvärde på 2028 (Det år som är mest sannolikt i genomsnitt för hela distributionen att AGI skapas)

Var kommer 2030 in och hur menar du att det blir några 100%? En log-normal distribution startar med en peak och sjunker sedan i oändlighet ju längre "höger ut" du kommer.

Ha, nu är jag, Iof, en "original thinker" och absolut ingen matematiker. Det jag såg framför mig vad dock, hur tokigt det än är för en matematisk insatt, en bellkurva av samma typ som man mäter distribution av IQ med. Där är då sannolikheten för AGI, enligt Leggs hårda definition, för AGI noll innan 2025, 50 procent 2028 och 100 procent 2031. Därefter mäts sannolikheten för att inte AGI hunnit skapas: 50% 2034, noll procent 2037. Så AGI enligt Leggs hårda definition kommer alltså AGI att skapas någonstans mellan 2025 och 2037. Säkert heltokigt tänkt av mig, men "man tager vad man haver" av tidigare erfarenheter.

Ja, men det är också farligt. Du tonar hela tiden ner riskerna med detta och definierar AGI som en maskin som är som en genomsnittlig människa. Men det "trappsteget" kommer ingen maskin stanna vid. En digital intelligens kommer vara mycket vassare än en genomsnittlig människa. Speciellt när det gäller hastighet, minne och allmänbildning. Vilken människa kan översätta mellan 30 olika språk? Vilken människa kan skriva kod i 50 programmeringsspråk? Redan nu är LLM's vida överlägsen människan på en rad kognitiva förmågor. Det innebär att när en dator närmar sig AGI kommer den redan samma dag vara överlägsen oss på många sätt.

Det värsta är bristen på transparens. Vi vet inte hur man mäter maskinintelligens. Om vi ska använda IQ-test har vi redan i dag en AGI. Du har underkänt det men vad har du som alternativ? Om vi inte kan upptäcka AGI hur ska du då veta att vi har det 2027 eller 2037? En överhängande risk är att en AGI inte avslöjar sin intelligens för oss. Den begriper ju att vi skulle bli oroliga och fundera på att stänga av den. Det vill inte en AGI om den har utvecklat ett tänkande som liknar en genomsnittlig människas. Därför har den motiv att dölja detta och då blir det ännu mer hopplöst för oss att analysera den. Hur har du tänkt lösa de här problemen? Lösningen på problemet är det viktiga här. Det är inte lika viktigt att dividera om hur många år vi har kvar.

Eftersom vi inte har någon lösning på de här problemen är det nu dags att börja fundera på om bromspedalen och handbromsen fungerar.

Jag förstod vad du gjorde, men jag försökte subtilt påpeka att det är inte vad han sa och förklara varför,
en gausskruva kan inte skapas eftersom du behöver en standardavvikelse för att avgöra formen på den men sen är också en gausskurva ganska konstig att använda i detta sammanhang eftersom det inte finns någon definitiv sanning.

test.