När når vi AGI?

Vill inte outa mig men här är min forskning förklarad.

https://copilot.microsoft.com/shares/E9cjEryYS8ishu4JMYo1r

Det är fortfarande lätt att lura dagens LLMer med enkla omvända gåtor.

Ger ett exempel. Ställer följande fråga till en LLM:


LLMen kommer svara fel med svaret:


Det gör LLMen för att den originella gåtan som har förekommit tusentals gånger i träningsdatan är:


Medans den omvända gåtan tvärtemot inte har förekommit alls i träningsdatan, så kan LLMen inte "förstå" den omvända och svarar då fel. Det går att vända på andra gåtor på liknande sätt och få exakt samma resultat.

Min poäng är att en LLM såklart inte "förstår" någonting, den upprepar bara den träningsdata den blivit tränad med. Skulle en LLM nu "förstå" som många här påstår, skulle det ju inte vara så enkelt att lura den genom att bara byta ett ord i en gåta,

Ja eftersom det saknas en faktisk förståelse i dagens modeller, men samtidigt så börjar tekniken fungera så pass bra att den faktiskt går använda (med överseende).
tex vid utveckling, att skriva ny kod från grunden fungerar i dag helt okej, att refaktorera är däremot livsfarligt just för det inte har kasaul förståelse.

Men ja du har rätt grundläggande logiska problem är helt olösta fortfarande idag, liksom reversal curse där en spårkmodell inte förstår om A är B så är B också A, problemet är att för varje sådant exempel som går viralt så tränar de på just de exemplen så nästa iteration ser ut att "förstå" men egentligen är det bara intränad data.

Precis likadant är det som kanske är mest otäckt med OpenAIs "GPT Sol", på blackhat konferensen nu framgick det att OpenAI tränar på benchmarks, det är förvånansvärt konstigt att de ens erkänner det då det är skolboksexempel på precis vad man INTE ska göra med maskininlärning, men samtidigt är de så klart inte ensamma om det, men det är just därför det är totalt meningslöst att varje modell tillverkare skriver ut benchmark scores... för det är inget imponerande alls när en modell får bra betyg på en benchmark om man tränat på det datasetet.

AGI är extremt osannolik via dagens arkitekturer, men det betyder ju inte att de är oanvändbara... frågan är bara vad det får kosta.

Så, vad är då skillnaden mellan när vi gick i skolan och fick lära oss räkna, läsa och skriva. Vad jag vill minnas så övade man på exempel tills man ”lärt” sig. Klarar man provet så är det ett bevis för att man lärt sig, och man får en viss auktoritet i ämnet. Man kan då stå för det man säger, man förstår.

Om din fråga gäller att modellerna tränas på benchmarks så är det väl analogt med att vi skulle träna på övningsprov och sedan ser det riktiga, betygsättande provet exakt likadant ut. Då är det ett bevis på att man har lärt sig de exakta frågorna, men inte nödvändigtvis att man förstår på en generell nivå.

Skillnaden är att även om det finns vissa ämnen så som språk, historia osv som naturligtvis handlar om ren memorisering av fakta, så går de flesta ämnen i skolan ut på att du ska lära dig en princip som du sedan kan applicera på andra fall.

Matematik är tex ett sådant ämne, tanken är inte att du ska lära dig "pelle har 5 äpplen och bengt äter 2 så har han 3 kvar" utan principen att om 2 försvinner från ett set så gäller det förhållandet även om du hade 8 äpplen, 6221 granater eller 66432992 ideer så är den underliggande principen den samma att du då har 6 äpplen, 6219 granater eller 66432990 ideer kvar när dessa 2 har försvunnit.

Det är därför du inte tränar på benchmarks, de är avsedda att mäta att just modellen lärt sig en relation, inte att det memorerat den exakta svaret, du har ingen som helst nytta av det.

Jo, jag ser skillnaden. Men är det så då, att en AI inte kan göra matematiska beräkningar? Utan bara söka efter rätt svar bland ofantliga mängder alternativ. Är det så till exempel en miniräknare fungerar?

google svarade fel, grok svarade rätt när jag testade din variant

Men vilken generella nivå?
Har vi lärt oss multiplikation, division och subtraktion då kan vi ju applicera det på vårt vardagliga liv i den mån vi har utvecklat kapacitet. Vi lär ju oss en formel. Det gör väl en maskin också om vi lär den det?

En miniräknare har väl ingen AI överhuvudtaget?

Men en "AI" kan i dagsläget ofta göra matematiska beräkningar genom någon form av modulärt tillägg som exempelvis kör Python-kod för att göra beräkningar. Det ligger alltså utanför språkmodellen.

Poängen var väl att modellerna tränas på benchmarks för att få höga poäng på benchmarks. Det är inte det att modellerna inte lär sig att generalisera, utan att det förtar poängen med benchmarks då de ska mäta just förmågan att generalisera. Genom att träna på exakt dessa benchmarks mäter de endast förmågan att minnas rätt svar.

"When a measurement becomes a target, it ceases to be a good measure." - Goodhart's Law

Jaha, Testade den i ChatGPT o Claude som båda svarade fel, men då har Grok bättre träningsdagarna tydligen, har inte access till Grok själv tyvärr.