När når vi AGI?

Nja, det är ju språk-modeller vi pratar om här, vilka, inte, är specifikt gjorda för rationella logiska resonemang. Men de har andra fördelar som gör att vi människor har lätt att interagera med dem. Men med detta sagt: Med rätt träning och träning under test tillfället så kan de, i alla fall, lösa uppgifter som ligger, längre, ifrån träningsdata, än vad de gjorde tidigare, utan denna metod. Men, de har ju, fortfarande, inte alls samma flexibilitet som vi människor att hantera helt nya problem. Så du har devis rätt, men inte helt rätt. LLM-Transformers är inte, helt körda vad gäller att resonera logiskt.

Enda anledningen man satsat enormt mycket pengar på språkmodeller är löftet om att låser upp AGI med skalning, nu har det visat sig att det inte är så och att arkitekturen inte gör eller åstadkommer något annat än vad den arkitekturellt borde åstadkomma.

Du har uppenbart inte förstått rapporten du själv länkade till med de argument du för, dessutom är det rent av löjligt att referera till något som de facto inte klarar "61%" eftersom först och främst testet i pappret gjorts på ett subset av ARCs offentliga exempel frågor, dessutom inte påvisar något eftersom dessa teoretiskt kan innefattas i språkmodellens träningsdataset vilket är en av de största anledningarna ARC utförs på ett icke offentligt dataset.

Och hela ditt resonemang är fruktansvärt löjligt och naivt eftersom det klart och tydligt understryker att du vare sig förstår poängen med ARC, språkmodeller eller hur dessa faktiskt fungerar.

Det är totalt irrelevant vad din definition av AGI är, hur du tror eller hur du upplever att språkmodeller fungerar... Skulle vetenskap bygga på subjektiva åsikter så hade vi inte kommit någonstans. Tvärtom så är det vid det här laget ganska uppenbart att vi kommer inte komma mycket längre vad det gäller intelligens med dagens teknik, det är alldeles bevisat att vi inte skalar något exponentiellt vilket är vad som utlovats, det har läckt progress information från i stort sett varenda stor AI leverantör där samtliga säger precis samma sak att de nya modellerna de utvecklat inte avancerar mot redan existerande modeller, det är flera kända profiler som nu erkänt att "vi har nått en platå" och det behövs ny teknik för att ta oss vidare, något som flera också sagt sedan dag 1.

Men det är så klart mer intressant för dig, vad du själv tycker och vad din uppfattning av språkmodellerna är eftersom du suttit och bollat idéer och blivit klappad på ryggen av dessa och tror dig ha med hjälp av dessa stakat ut en väg framåt, precis som om språkmodellen skulle veta detta redan. Det påminner om alla idioter som trott att man kan skriva en prompt för att få slut eller filtrera bort hallucinationer osv.

Längre intervju med Max Tegmark i Fast Company där han, bland annat, säger att han tror vi når AGI under Trumps mandatperiod.

”I think it depends on the extent to which Donald Trump will listen to Elon Musk. On one hand, you have a lot of folks who are very anti-regulation trying to persuade Trump to repeal even Biden’s executive order, even though that was very weak sauce. And then on the other hand, you have Elon, who’s been pro AI regulation for over a decade and came out again for the California regulation, SB 10 47. This is all going to really come down to chemistry and then relative influence.

In my opinion, this issue is the most important issue of all for the Trump administration, because I think AGI is likely to actually be built during the Trump administration. So during this administration, this is all going to get decided: whether we drive off that cliff or whether AI turns out to be the best thing that ever happened.

If we lose control of AGI, frankly, none of the other stuff matters. The extinction letter that was signed, people weren’t joking when they talked about human extinction. They were very serious about it. And I have opinions about all the other politics, and you of course do also, but we can leave that all out of this. None of the other political issues where Trump and Kamala Harris differed are relevant if we’re extinct. or even if we’re not extinct, but we’ve lost control to some new self-improving robot species.

Of course, everyone’s trying to persuade Trump to go this direction or that direction or whatever. But if Trump ends up pushing for AI safety standards, I think Elon’s influence would probably be a key reason.”
https://www.fastcompany.com/91228731/max-tegmark-future-of-life-interview

Ja, tidigare hade man en naiv tro på, ren uppskalning. Det var inte speciellt konstigt: Det skalades fint mellan GPT-2 och GPT-3, sedan vidare till GPT-4, låt vara att de modellen kanske innehåller specialiserade moduler. Men sedan visar skalningslagarna att ren, allmän, uppskalning ger nästan ingen effekt, åtminstone på de variabler man testade. En annan sak som spelade in var att evolutionär så såg man att dvärgchimpanshjärnan skalade upp fint till människohjärna där, i princip bara språkcentra tillkom, förutom större hjärnbark. Det man glömde bort var att även aphjärnan är avsevärt mer komplex än en LLM-Transformer. Men t. o.m Illya Sutskriver, kanske den främsta förespråkare för allmän uppskalning medger nu att "det beror på, vad, man skalar upp". Så nu användas den ökade beräkningskaciteten till inferens så att modellerna "tänker igenom" en uppgift och kanske väljer ibland de mest troligt bästa output. Vad som i övrigt händer i labben känner jag inte till, förutom att man provar träning under uppgiftfasen genom att låta modeller justera tillfälligt öppna parametrar själva.

Och, tydligen, så fortsätter investerare att ösa pengar över AI-företagen, trots det ändrade paradigmet. Kanske vet det något som inte du känner till?



Visst jag, kan ju, ha missuppfattat rapporten, men som jag fattar det så klarade den största modellen som testades (8 miljarder parametrar) strax över 70 procent av uppgifterna, vilket också är det mänskliga genomsnittet. Vad jag fattar så fick modellerna, först, prova helt öppna exempel ARC pussel med vissa parametrar öppna. Innan dess så hade de blivit tränade på allmänna resonerade uppgifter. Sedan fick de ge sig på ARC-pussel, (jag tror att det var 40 av totalt 200), och som jag fattade så kunde inte dessa funnits i modellernas ursprungliga träningsdata, även fast rapporten inte helt uteslöt lägage i några fall.



Jo, jag förstår poängen med ARC-pussel, de avser mäta en synnerligen avgränsad intelligensförmåga/resonerande-logiska som ARC-pusslens skapare anser finns hos människan. Men det vet vare sig han, jag eller du! Sedan hävda du ständigt att alla som argumenterar emot dig eller arbeta för att utveckla LLM-Transformers är okunniga om dess grundläggande funktioner. Jag själv försökte under något år att sätta mig in i detta, förutom den rena matematiken bakom det hela. Jag hävdar att jag inte är, helt, okunnig om detta.



Under den absoluta största delen av mänsklighetens historia så har vi varit sociala och känslomässiga varelser. Den moderna vetenskapen är ett synnerligen nytt påfund. Och det tog väldigt lång tid för teknologiska framsteg att slå igenom innan dess, framför allt innan 1000-1500-talet. Så jag tycker, ändå, att det är smått fantastiskt att en maskin, sömlöst kan hantera språk, lyda under socialpsykologiska mekanismer och simulera empati. Och, ja, det behövs ny teknologi för att ta oss vidare. Enda frågan är om den ändå kan bygga vidare på LLM-Transformers teknologin eller om en helt ny teknologisk paradigm måste till.


Jo, det är sant att jag, personligen, lärt mig mycket och fått nya ideer och infallsvinklar när jag chattat med LLM-Transformers. En erfarenhet jag delar med många, men tydligen inte med dig.

Ja och nej, det var tidigt känt att det som påverkade modellernas färdigheter var andelen data de tränades på, inte storleken på modellen i första hand.
Vilket ligger helt i linje med modellens statistiska natur, det är också varför vi i dag har små modeller som utklassar ChatGPT 3 och 3.5.

Vi har ingen teknik där modellen ”tänker” igenom något, sådant som ChatGPT o1 är inget annat än statistisk postprocessning liknande det Google presenterade i våras, dvs CoT decoding ( https://arxiv.org/pdf/2402.10200 ) modellen är inte ett dugg smartare i sig utan det man gör är kortfattat att grena av svaren från modellen och välja den gren där sannolikheten på den genererade token sekvensen är högst, men priset du betalar för detta är du effektivt genererar massvis med alternativa svar på en given fråga vilket gör både modellen långsammare, dyrare och i vissa avseenden sämre. Det finns ingen intelligens här heller där modellen skulle ”veta” när den behöver ta till cot decoding eller när den skulle kunna svara med traditionell decoding, för att modellerna förstår helt enkelt inte vad de behandlar, det finns en sjuhelvetes massa problem med LLMer som direkt hade löst sig om de faktiskt hade förståelse. Men de saknar den, de har en illusion av förståelse och den illusionen försvinner som en avlöning så snart du traskar utan för dess träningsdata.

Ja precis som investerare öser pengar över vissa läkemedelsföretag osv, investerare lever på hopp och till stor del på hype, något behöver inte vara bra eller ens lovande för att du ska kunna tjäna pengar på det, däremot är det nödvändigt att ge sken av det så mindre insatta sätter in sina pengar.
Underskatta inte hur mycket spel aktiemarknaden är både bluffande men också chansande.

Det är inget som Chollet hittat på, varenda IQ test som finns bygger på att det är novella problem som du i stunden ska försöka förstå verkan/effekt på, precis som de flesta rimligtvis förstår att om du får facit till ett prov och lär dig detta utan till så testar det inget annat än ditt minne, något som datorer alltid kommer klå oss människor på även helt utan ”AI”.
Som jag åtskilliga gånger försökt förklara tidigare det närmsta vi kommit till denna förmåga som vi fortfarande inte riktigt kan sätta fingret på hos människor med just intelligens är att generera en sjukmängd permutationer och sedan snabbt filtrera bort/avskriva de grenar vi tidigt kan avgöra är irrelevanta, människor löser generellt inte problem så eftersom det tar för långtid, det är en sista utväg som många tar ”när de bankar huvudet mot väggen” men det kräver ingen tanke utan man bara provar sig fram tills något faller på plats, människor har generellt en tes- en bild av hur något fungerar och sedan testar tesen; om den tidigt divergerar så formar man en annan tes, det är raka motsatsen mot hur MCTS osv används i de ”starka AIs” vi har idag.

Jag kanske läste fel, men jag såg ingen indikation på att rapporten gjorts på något annat än det publika settet ARC uppgifter, det är oavsett vilket gravt missvisande att påstå man löser 61% om man testar på ett delset, hade de valt en fråga och löst den skulle man då hävda man löst 100%?



Ja och så vitt vi vet så förefaller det sig fortfarande så, bortsett från andra djur då som onekligen har känslor och med stor sannolikhet ett medvetande också, men allt detta är en fälla.

Den AI vi letar efter är inte nödvändigtvis medveten, känslofylld eller dylikt. Utan den är användbar och kan se ett logiskt mönster oavsett den känner eller vet om sin egna existens, den kräver inte att man babysitter och övervakar varenda ord den skriver, du ska kunna applicera den på nästan vilket (realistiskt givet dess färdigheter) problem som helst, dvs om en AI förstår text så ska den kunna utföra dessa uppgifter med minst samma precision som en människa, det innebär inte att AI:n ska behöva ha en magkänsla, ska kunna känna en vindpust, en odör osv. Det är något långt senare och ligger sannolikt ofantligt långt in i framtiden.

Du tar upp flera intressanta poänger som är värda att bemöta. Jag håller med om att det finns begränsningar i dagens LLM-Transformers, och att vi fortfarande är långt ifrån att skapa något som verkligen kan mäta sig med mänsklig intelligens. Men jag tror att det också finns ett antal viktiga nyanser och framtidsperspektiv som är värda att belysa.

Du nämner att det är mängden och kvaliteten på data, snarare än modellens storlek, som påverkar resultatet. Jag håller med om att data är avgörande, men det är värt att notera att en större modell ofta också krävs för att hantera större och mer komplex data. Modellen behöver fler neurala lager och parametrar för att kunna skapa en mer nyanserad förståelse av mönster i datan. Men det är också viktigt att erkänna att skalningslagarna har sina begränsningar. Det har blivit tydligt att ren uppskalning inte längre är tillräckligt för att driva framstegen på samma sätt som tidigare, vilket även forskare som Illya Sutskever har medgett.

Därför ser vi nu försök med nya eller relativt nya tekniker som test-time training (TTT) och chain-of-thought decoding (CoT), vilka syftar till att förbättra modellernas resonerande förmåga. Även om dessa inte innebär "tänkande" i mänsklig mening, så pekar de ändå mot en utveckling där modellerna kan börja närma sig mer dynamiska och flexibla resonemang.

Du beskriver att AI inte behöver medvetande eller känslor för att lösa problem. Jag håller delvis med dig – för vissa typer av strikt logiska och rationella problem är självmedvetenhet inte en nödvändig komponent, typ kodning och matematik. Men om du vill att AI ska lösa problem holistiskt, på ett sätt som liknar människans intuitiva förmåga, då, tror jag att det krävs något mer.

Människor har förmågan att se en helhet, en "världsbild", som gör att vi snabbt kan avgöra vilka lösningar som är troligast att fungera i en given kontext. Detta bygger på en kombination av erfarenhet, självmedvetenhet och känslomässiga drivkrafter. För att AI ska kunna uppnå något liknande måste den inte bara simulera förståelse utan också utveckla en form av "meta-förståelse" – en insikt om sin egen roll och kontext i världen. Den holistiska kapacitet som redan finns i LLM-modellernas menings- och relationsrymd är en lovande startpunkt för att bygga denna typ av förmåga.

Människan är inte bara en rationell varelse – vi är också sociala, känslomässiga och kulturella. Vår förmåga att kombinera dessa aspekter med rationellt tänkande är vad som gör oss anpassningsbara och framgångsrika. Om AI ska kunna lösa komplexa problem som är rotade i mänsklig kultur och erfarenhet, behöver den också integrera dessa dimensioner.

Ett system som saknar bredd riskerar att bli ett "logiskt monster" eller kanske en "Chollet-maskin" som optimerar för smala mål utan att förstå konsekvenserna. Detta är inte bara en teoretisk fara – det är också en praktisk utmaning för AI-säkerhet. För att undvika detta behöver vi utveckla AI som kan balansera rationellt och brett tänkande, och som kan relatera till mänskliga behov och värderingar.

Du nämner att vi står på en platå i utvecklingen, och att ny teknik kommer att krävas för att ta oss vidare. Jag håller med om att vi behöver innovation, men jag tror också att forskarna och ingenjörerna, fortfarande, har mycket att hämta från den befintliga LLM-Transformers-teknologin. Genom att kombinera den med nya metoder, och genom att integrera bredare förståelse och självmedvetenhet, kan vi fortsätta att göra framsteg.

(Detta svar har jag och ChatGPT-4o förutom vissa ändringar som jag gjort, producerats, tillsammans, vilket jag absolut inte skäms för. Tvärtom så är det enbart smart att använda sig av tekniska hjälpmedel/entiteter för att spara tid: Som att t.ex sammanfatta en diskussion som, i grunden, bygger på min input och mina idéer, vilket jag, i detta fall, bett ChatGPT-4o sammanställa till ett svar, utifrån mitt sätt att skriva, för att spara lite tid. Har moderator synpunkter på detta, så vänligen meddela detta. Återigen ser jag detta som ett pedagogisk exempel, som dessutom sparade mig en massa tid: LLM-Transformers är, redan idag, något mera än rena stokastiska papegojor, men givetvis inte AGI el.dyl.)

Personligen tycker jag att diskussionen blir väldigt platt när svaret är AI-genererat. Det märks också väldigt tydligt när du låtit ChatGPT skriva ditt svar gentemot när du skrivit helt själv.

Ärligt talat så behöver det inte vara så. Hade jag justerat inlägget lite till och fått bort fler "vi" lagt in fler kommatecken, vilket Iof irriterar många, samt något mer mustigt i stil med "Chollet-maskin", så hade det knappat märks någon skillnad mot mina vanliga inlägg, annat än att det är mera lättläst och med något rundare, icke konfrontativa formuleringar. Alla mina poänger kom med och jag sparade någon timme utan att behöva svära över mitt värdelösa tangentbord på telefonen.

Jag såg lång väg att ditt svar var AI genererat och tänkte först konfrontera det, men du erkände i slutet av inlägget att det var så.

Och jag känner det är ganska meningslöst att ens ha den här diskussionen när jag egentligen diskuterar med en mönster matchande algoritm än en person, jag kan skriva direkt till ChatGPT om det intresserar mig.

Men det faktum att du använder ChatGPT för att analysera och bemöta argument, ChatGPT osv är korkad och därför känns det än mer meningslöst när dessa vill påskina de ”framsteg som faktiskt gjorts”, jag har använt det så mycket och vet att den vet inte överhuvudtaget vad den skriver om utan skulle jag konfrontera den så erkänner den att den har fel osv… jag har försökt säga det till dig i åtskilliga inlägg att de här botarna är medvetet tränade för att vara medgörliga och engagera i konversation så att OpenAI får än mer data att träna på, men tro mig stöter du på någon som faktiskt vet vad de pratar om och bryr sig- så står de på sig om de vet de har rätt, det gör inte ChatGPT osv för de vet inte, de förstår inte, de förstår inte analogier och liknelser som kräver djup förståelse av ämnet utan tolkar allt ordagrant även när det inte är en ordagrann tolkning som krävs.

Fast det du hade chansen att bemöta var, inte att ChatGPT4o, formulerat, inlägget, utan, mina, poänger! Därför kommer du nu få se vilka frågor och påståenden jag ställde till ChatGPT-4o vilket, senare, ledde till att jag lät boten skriva ett svar som jag bara justerade lite:



* Jag använder mig av den beteckningen för att inte ge bort ditt nick på Flashback till OpenAI i onödan. En beteckning du faktiskt kan vara stolt över!





Jag tittade, för en stund sedan, på en dokumentär om Alpha-go:s vinst över den sydkoreanska Go-mästaren Det var bara åtta år sedan. Medge att det ändå hänt en hel del med AI sedan dess! .

Någon upptäckte att det går att utnyttja Alpha-Go's bristande faktiska, fluida, intelligens för att vinna över den. Den förstår inte vad en grupp av stenar är. Nu kan spelare som är långt från världselit besegra den konsekvent.

https://www.ft.com/content/175e5314-a7f7-4741-a786-273219f433a1

Det är precis samma svaghet som begränsar användbarheten i LLM och liknande maskininlärningstillämpningar. De är kristalliserad intelligens (memorering) som härmar fluid intelligens.

Jösses, vad pinsamt det blir för Max Tegmark m.fl. inom några få år när den utlovade ai-frälsningen uteblir. Det är helt fascinerande att se detta gigantiska socialpsykologiska experiment spela ut.

Låst artikel.