När når vi AGI?

Jag vill nog inte utsätta mig för det.


Om folk fick reda på vad jag har gjort hade nog min Hotmail-inkorg brunnit upp.

Det är det som är min poäng, folk har vant sig vid datorer på samma sätt som dom då hade gjort med fordon. Tom i Sci-fi världen är inte många som prickat in hur fort AI skulle dyka upp. I Star Trek och Star Wars har dom galax-skepp men datorer dummare än random gratis ChatGPT så det är inte lätt det förstår jag. Moderna AI system är som sagt inte bara en random LLM numera, som man kan tro när man läser 2/3 av posterna i den här tråden. I moderna system som används för arbete (dvs inte bara en billig chatbot) är själva LLM'en mer av en operativsystems-kärna, en kärna med intuition (som blir bättre snabbt) och kombinerar massor med olika verktyg. Korttids-minne, formal verifikation, symboliska expertsystem, simulatorer, evolutionära sök-algoritmer etc etc. Dom bryter ner större problem i delmål och låter svärmar med agenter ge sig på varje bit för bit, återigen med verifikation, simulation, loopar osv. Dom kan inte helt upptäcka nya koncept eller lära sig självständigt kontinuerligt, inget vidare långtidsminne. Men dom sakerna kommer ändra sig snart tror jag, kanske snabbare än du vågar tro. Du hintar att det bara blir för dyrt att köra dom eller vad antyder du på slutet? Med dagens algoritmiska förbättringar hade man t.ex. kunna spöa Kasparov med en random PC från 1994. Vi är redan förbi punkten där dom kan resonera om algoritmer, vad tror du händer om t.ex. StarGate får köra hundra tusen sessioner med deras hemliga interna hackermodell i en vecka och ger dom som mål att utveckla så bra algoritmer för AI som möjligt? https://openai.com/sv-SE/index/stargate-advances-with-partnership-with-oracle/

Athena är ett sant helvete att debugga.


En spontan reflektion jag fick tidigare: "Fan, jag kan inte debugga för systemet tappade humöret."

Star Träk är ganska gammalt. Från 60-talet någon gång.
Star Wash är marginellt nyare. Från 70-talet. Men där fick man ju med två robotar.

Ja det är inte lätt att gissa så väl om framtiden. En del SF-författare har varit lite bättre dock.


Tja, dock skulle jag inte kalla det "Moderna AI system". Men visst är det en trent åt det hållet.
Kanske mer prototyper.
För något avtryck i verkligheten står inte att finna.

Apollo kom nyligen med en rapport där man gått igenom +300 yrken i företag där man använder Claude. Ingen minskat personal. Men aningen svagare lönetillväxt.
Det är vad dom hittat.

De som tror på stora förändringar kan redan nu sätta sig i skamvrån.


Tja, vad säger du själv att det kostar att ordna fram HW så du kan starta upp Kimi K3. Bara starta upp alltså. Och så går den i snigelfart. Räcker det med en mille?


Baserat på data från en artikel av Deepmind så räknade jag ut att om jag skulle träna upp motsvarande shackprogram på min hyggligt kraftfulla PC skulle det ta 13 år, bara för sista träningsvändan. Du underskattar den enorma datorkraft som man kastat på de här problemen.

Jag tänker att partiell (=smal) ASI redan finns och kom före AGI, som kommer före generell ASI. Det finns redan övermänsklig AI för specifika områden, som IT-säkerhetsanalys, schack, proteinstrukturprediktion, problemlösning inom matematik.


Det var nytt för mig. Kretsscheman och hårdvara kan ju beskrivas med hårdvarubeskrivningsspråk som VHDL, SystemC och Verilog, och LLM är bra på språk, inklusive kod, så de är bra på de delarna av chip-design. Det finns dessutom öppna projekt med VHDL- och Verilog-kod.

Däremot kan jag förstå om LLM är sämre på placering, lednings-routing, timing-optimering och optimering av chipens och kretskortens yta, precis som de fortfarande är ganska svaga på mekanisk CAD-design. Inte bara för att det är svårt att representera med text, utan även för att det kräver andra verktyg för komplex optimering.

Jag har testat att be AI "tänka" och lösa problem grafiskt genom att generera förenklade bilder och analysera dem steg för steg, och den kan analysera sina egna bilder, men jag har ännu inte hittat något exempel där det tydligt förbättrar resultatet jämfört med ett rent textbaserat resonemang. LLM behöver kompletteras med verktyg för grafisk lösning.

AI-tjänsterna kan ibland generera pythonkod och köra den, men det skulle behöva utökas kraftigt, så att den kan anropa python-libraries för t.ex. olika typer av optimering och grafisk lösning.


Nja, tränade speicalister håller jag med om, men man bör inte jämföra LLM med uppslagsverk (sökbara databaser typ Wikipedia), eftersom LLM även kan generera nya hypoteser, designer och lösningsförslag och nya egna slutsatser, ibland korrekt, ibland fel, som en människa. Och eftersom du inte behöver inte veta vilket sökord du ska använda, utan det räcker ofta att beskriva med egna ord. LLM kan ses som experter som kan lösa nya problemställningar genom att kombinera kända metoder.

Jag tror att AI saknar känslor, medvetande (i bemärkelsen en subjektiv upplevelse av sig själv) och hittills förmodligen även egen vilja.

Är vi överens om att den ändå agerar *som om* den är intelligent, har teoretisk förståelse, kan resonera logiskt? Och att den därmed kan lösa nya avancerade problem som vi använder för att testa om t.ex. studenter har verklig förståelse och inte bara har memorerat kunskap utantill? Och att den agerar *som om* den är kreativ?

Det finns i dag inget allmänt accepterat sätt att avgöra om den faktiskt förstår och är kreativ, eller bara uppvisar den förmågan. Okej, mekanismen är inte mänsklig, men det är ett dumt extrakriterie att verklig förståelse måste kräva en mänsklig mekanism. En bläckfisk kan också förstå, tänka och visa empati trots ett helt annorlunda nervsystem. Detsamma gäller en hypotetisk utomjording.

MÅnga filosofiintresserade är inne på din linje har jag märkt, utan att kunna ge tydliga definitioner av skillnaden mellan verklig och simulerad förståelse. Många AI-forskare menar att detta inte går att avgöra, eller att det är emergenta (oväntade) verkliga förmågor som uppstår när LLM:er blir tillräckligt stora och tränas på enorma datamängder.

Många tjatar om att LLM "bara" kan beräkna vilket ord som sannolikt kommer härnest i en mening, ett ord i taget, men då glömmer de träningen. Ett otränat LLM är inte intelligent, precis som ett nyfött barn inte är det. LLM är designade för att synonyma uttryck ska få ungefär samma matematiska represenattion - därför har de åtminstone en konceptuell förståelse by design. Men dessutom är de tränade att kunna lösa avancerade logiska problem, och mycket annat som en vuxen människa också har lärt sig under livet och som har gjort henne intelligent.

Vissa menar att förståelse kräver kunskap som är "grundad" i egna sensoriska upplevelser och självupplevda händelser, vilket LLM saknar. Men LLM är som en förlamad människa som har suttit inlåst hela livet och förkovrat sig i enorma mängder litteratur och övningsuppgifter. Skulle du säga att en sådan person inte har god teoretisk förståelse?

Jag förklarar den logiska problemlösningsförmågan med att mänskliga språk är utvecklade för att uttrycka logiska resonemang, genom att steg för steg omvandla en fråga till ett svar, och LLM:er är mycket bra på att bearbeta språklig representation av verkligheten, Intelligens handlar om mönsterigenkänning och LLM är bra på att känna igen språkliga mönster.

Om vi nu inte kan veta säkert om AI förstår eller simulerar förståelse, varför är det då så viktigt för vissa att bestämt hävda att den inte förstår?

Du och jag brukar vara ganska överens men du har tappat mig lite nu.

Du pratar om klassisk maskininlärning. Det kan användas till att göra statistiska prognoser, extrapolera, kategorisera. Multilayer NN kan även användas till betydligt mer avancerade saker, t.ex. generativ AI, som är det jag pratar om.

Generativ AI är både designade och tränade att skapa ny text eller ny media, och är alltså kreativt per definition. Särskilt i de fall när resultatet är överraskande, originellt (har ett verksdjup), och uppfattas som bättre än det de flesta människor skapar.

Om du ska förklara eller mäta en människas kreativa förmåga, bör du inte nöja dig med att beskriva enstaka neuroner hos den personen på låg nivå. Du bör även ta hänsyn till större hjärnstrukturer på hög nivå, både medfödda instinkter och storlek på olika hjärncentra, och framför allt inlärda färdigheter.

En viktig skillnad mellan människa och LLM är att den förra har kemiska processer som orsakar varierande känslotillstånd. Är känslor nödvändiga för kreativiteten? Kan en människa som inte har god kontakt med sitt känsloliv, men ändå är intelligent och kan förstå andra människors känslor på ett teoretiskt plan, vara kreativ? Jag tror det kan vara möjligt. Jag har sett komiker i intervjuer säga att de skrattar sällan åt skämt, författare säga att det är viktigare med disciplin än inspiration, musiker som vill ha tystnad när de inte jobbar, osv.

När jag analyserar begreppet kreativitet så är min slutsats att det har mer förknippat med det fenomenet vi kallar fantasi än känslor.
Känslor driver oss ofta till en handling. En fysisk yttring eller ett meddelande eller kanske bara en tanke. Oftast nästan reflexivt. Medans Kreativitet eller fantasi låter oss leverera denna yttring med intention eller mening. Till exempel som en dans, sång eller dikt.

En intressant fråga jag ställer mig också är om känslor nödvändigtvis behöver vara betingad av en kemisk, eller biokemisk, process.

Hoppas mina funderingar kan vara till någon nytta i erat resonemang.

Förstår dina analogier men språkliga system visar inte kausal förståelse (i världen) endast emulerad sådan på en terminal. Detta förklarar även varför den är generativ men inte kreativ. Språkliga system är inte heller simulationer när intelligens är kausal förståelse.

Du behöver gå ett varv till i tankeprocessen eller håll dig endast till språkliga system. Du verkar inte fatta bred AI.

Känslor kommer ur kemiska processer medans subjektet är en biologisk mekanism. Kreativitet är på ett medvetet psykologiskt plan. Logik däremot kan reduceras till materiella processer som i datorer.

Vad då kommer ur kemiska processer? Kan du vänligen förklara i stället för att påstå. Du menar väl inte att kemiska processer bara genererar känslor? Det finns ju rimligen en orsak någonstans och är den mental, eller på ett ”medvetet psykologiskt plan”, så kan väl den kemiska processen lika väl kunna reduceras till en bro mellan kroppens funktion och det vi upplever, mentalt.

Subjektet är en biologisk mekanism? Det är väl rimligt vis lika mycket en mental mekanism, om inte mer? Subjektet är väl jag? Om jag känner mig orolig inför ett kommande prov. Skulle du då säga att subjektet, alltså ”jag som känner mig orolig” är en biologisk mekanism? Vad i hela fridens namn menar du då finns på ett ”medvetet psykopatiskt plan”?

Och vad menar du med att logik kan reduceras till materiella processorer? Att det bara är logik som går att simulera? Att en maskin inte kan känna känslor? Varför då? undrar jag i så fall.

Om min kropp består av små beståndsdelar så som molekyler, atomer, kvarkar mm, var någonstans finns skillnaden mot en dator som också består av atomer av olika slag?
Om du då pekar på det ”medvetna psykologiska planet”, så kommer ju följdfrågan ”varför då?” Infinna sig som ett brev på posten. Alltså vad i hela fridens namn säger att det ”medvetna psykologiska planet” inte skulle vara tillgängligt för en hög med atomer som vi kallar dator utan bara för den högen atomer som heter människa?
Om vi inte vet det, hur kan vi då veta att en dator inte kan vara lika medveten och känslosam som vi?

Det är ingen idé att förklara mer när du blandar saker som inte hör ihop:

Känslor = biokemi,
subjekt = organismens mekanism,
kreativitet = psykologiskt fenomen.

Det är standard inom modern medvetandefilosofi.


Referenser:

Känslor som biokemiska tillstånd: Antonio Damasio, The Feeling of What Happens.
Subjektet som biologisk mekanism: Thomas Metzinger, Being No One.
Kreativitet som psykologisk funktion: Margaret Boden, The Creative Mind.
Logik som materiell process: David Chalmers, Computational Foundation of Mind.


När du blandar dessa nivåer får du frågor som inte går att besvara eftersom strukturen är fel från början.