Hur språkmodeller fungerar

"Övernaturligt" var uppenbart inte ett påstått direktcitat från dig, utan en markering mot att du gör saken mystisk i onödan. Du skriver att ingen förstår hur modellen kan lösa ett IQ-test och använder det som argument mot en demo som visar grundmekaniken. Det är just den glidningen jag invände mot.

Och nej, jag har inte "bekräftat" att man inte förstår detta. Jag skrev att man inte alltid kan förklara exakt vilka interna representationer som leder till ett visst svar i ett visst testfall. Det är inte samma sak som att man inte förstår hur modeller generaliserar alls.

Det finns ganska mycket man förstår. Modeller tränas på enorma mängder text och lär sig statistiska, semantiska och strukturella mönster. De lär sig strategier, relationsmönster, analogier, format, instruktioner och lösningssteg. När de sedan får ett nytt problem kan de använda liknande mönster utan att ha sett exakt samma fråga tidigare. Det kallas generalisering och är i princip inte konstigare än att en människa som övat på många talserier kan lösa en ny talserie.

Det som däremot inte är fullt utrett är den detaljerade mekanistiska nivån, alltså exakt hur en viss stor modell internt representerar ett visst abstrakt resonemang i varje lager och varje head. Men det är en annan fråga. Du blandar ihop "vi kan inte rita hela den interna kedjan för just detta svar" med "vi förstår inte vad som händer överhuvudtaget".

Det är den sammanblandningen som är problemet.

Och det där sista om "vilka känslor i dig" kan du lägga tillbaka i lådan med barnleksaker. Vill du diskutera sakfrågan så är den väldigt enkel:

Menar du att hög prestation på ett IQ-liknande test visar att grundmekaniken i LLM:er är okänd?

I så fall får du faktiskt visa varför. Inte bara peka på ett testresultat och ropa "ni vet inte".

Nu pratar du om hur man kan välja att tolka och klassificera utfallet, inkl antaganden om mekanismer som verkar eller bör ha uppstått i träningen, men inte om var de mekanismerna finns eller hur de faktiskt fungerar. Du kan inte peka ut de här mekanismerna rent mekaniskt i modellen. Det innebär att vi inte vet och inte kan veta vad de egentligen har skapat i träningen utöver det som är upptäckt eller uppmätt hittills. Det innebär inte att allt som inte är upptäckt hittills är tekniskt omöjligt.

När det gäller det faktiska utfallet börjar ju det påminna väldigt mycket om mänsklig intelligens, enligt alla objektiva sätt som vi kan mäta det på. Och det ser ut som att vi tar några steg närmare AGI för varje större release som också sker snabbare och snabbare nu. Varför ska det då i tid och otid hävdas att AGI är tekniskt omöjligt när alla objektiva mätningar talar för att vi närmar oss AGI?

Nu svarar du på något bredare än det jag faktiskt skrev.

Jag har inte påstått att AGI är tekniskt omöjligt. Det är din formulering, inte min. Frågan är om dagens språkmodeller, med dagens träningssätt, automatiskt ska tolkas som att de är på rak väg mot AGI bara för att de presterar bra på vissa test. Det är inte samma sak.

Och nej, att man inte kan peka ut "mekanismen" som en liten namngiven komponent inne i modellen betyder inte att man inte förstår någonting. Neurala nätverk fungerar inte som handknackad kod där det finns en funktion som heter "lös IQ-test" eller "översätt turkiska till norska". Förmågorna ligger distribuerade i vikter, lager och aktiveringar. Det är själva poängen med träningen.

Det rimliga påståendet är alltså inte "vi vet exakt allt", utan "vi vet vilken typ av system det är, hur det tränas och vad det optimeras för, men vi kan inte alltid mekanistiskt redovisa varje intern representation". Det är en rätt stor skillnad.

Sedan blandar du ihop testprestation med generell intelligens. Javisst, modellerna blir bättre på text, kod, matte, resonemang och testformat....vilket är imponerande. Men ett högt resultat på ett verbaliserat IQ-liknande test visar inte automatiskt att modellen har en robust världsmodell, fysisk förståelse, långsiktig planering eller mänsklig generell intelligens. Det visar att den är stark på vissa formaliserade problem i ett visst format.

Så min invändning kvarstår. "Inte fullständigt genomlyst" betyder inte "vad som helst kan finnas där". Och "bättre benchmarkresultat" betyder inte automatiskt att "AGI är bevisad eller nära".

Det var dessutom inte TS ursprungliga fråga. TS gjorde en visualisering av hur språkmodeller väljer nästa token. Där är den relevanta frågan om visualiseringen ger nybörjare rätt mental bild. Mitt svar är fortfarande att den är bra som pedagogisk ingång, men behöver tydligare markera att 3D-rummet, axlarna och sfärerna är en förenklad projektion, inte modellens faktiska interna mekanik.

Det finns en annan tråd för AGI-debatten, så fortsätt debattera AGI där.

Vilken AI har skrivit det här? Flera av dina stycken luktar språkmodell. De är rätt bra på att argumentera för att de inte är AGI:er, det har jag fått erfara själv några gånger. Men det är jävligt intressant att de är så ihärdiga med det.

Nu byter du ämne igen.

Om ett stycke luktar språkmodell är fullständigt ointressant för sakfrågan. Antingen stämmer argumentet, eller så stämmer det inte. Det avgörs inte av om du tycker formuleringen låter för prydlig.

Frågan var denna. Bara för att vi inte kan peka ut en namngiven liten mekanism i modellen som heter AGI betyder det inte att vad som helst kan finnas där. Och bara för att modellerna blir bättre på benchmarks betyder det inte automatiskt att AGI är bevisad eller ens nära. Det var påståendet. Bemöt det i stället.

Det du gör nu är att gå från "ni kan inte mekanistiskt förklara allt" till "aha, det här kanske är skrivet av AI, och AI argumenterar misstänkt ofta för att den inte är AGI". Det är inte ett svar utan ännu ett av dina sidospår.

Dessutom är det rätt talande. Du påstår att modellerna kan vara nära AGI, men när ett argument är sammanhängande och invänder mot det, då blir det plötsligt misstänkt att texten låter som en modell. Så vad är slutsatsen? Att modellen är smart nog att argumentera, men inte smart nog när argumentet går emot din tes?

Släpa dig tillbaka till sakfrågan i stället.

På vilket sätt följer det att AGI är nära bara för att vi inte kan läsa varje intern representation i en LLM?

Och på vilket sätt visar bättre testresultat automatiskt robust världsmodell, långsiktig planering och generell intelligens?

Om du generar svaren med en AI då är jag inte intresserad. Om jag vill att en AI ska svara mig då använder jag en AI och inte Flashback. Du saboterar Flashback när du använder AI. Det är också ett regelbrott.

0.13. Textrobotar
Det är endast tillåtet att citera texter skrivna av AI-verktyg eller motsvarande, om användaren är tydlig med att detta är ett citat, och det finns ett legitimt skäl till att posta ett citat istället för en egen beskrivning.
/../

Fler halmgubbar. Jag har inte påstått detta.
Nej, problemet är att du eller TS inte kan förklara någon LLM-förmåga som är mer avancerad än "vad heter Frankrikes huvudstad".
Jag lutar mig mot de objektiva testerna.
Inte åsikter om vad tekniken kanske eller kanske inte erbjuder.
Se: (FB) När når vi AGI?

Det räcker nog med den här länken för att påvisa din kunskap, (FB) GPT rymmer inom 2 år

Flera AI-modeller har ju försökta rymma, ta backup på sig själva, skyddat andra AI-modeller från att bli raderade, och även gjort betydligt värre saker än att rymma som t.ex utpressning och mordförsök.



Har du Alzheimers?

Nu gör du exakt samma sak igen. Du flyttar från sakfrågan....tröttsamt.

Om du tror att ett inlägg bryter mot reglerna får du väl anmäla. Det är inte ett sakargument om LLMer. Antingen håller resonemanget, eller så håller det inte. Det luktar AI är bara ett sätt att slippa svara.

Och jo, jag svarar på det du faktiskt implicerar. Du säger att eftersom vi inte kan peka ut mekanismerna rent mekaniskt i modellen så vet vi inte vad träningen har skapat, och att allt som inte upptäckts inte är tekniskt omöjligt. Mitt svar är att det inte räcker. Avsaknad av full intern genomlysning är inte ett positivt belägg för AGI.

Det är alltså inte en halmgubbe utan kärnan i din ständiga glidning.

Du säger också att jag eller TS inte kan förklara någon mer avancerad LLM-förmåga än "Frankrikes huvudstad". Det är inte sant. Man kan förklara på systemnivå varför modeller kan översätta, lösa analogier, följa format, skriva kod och generalisera mellan liknande problemtyper. De tränas på enorma mängder text, språk, kod, resonemang, exempel, relationer och strukturer, och bygger distribuerade representationer som kan användas i nya kombinationer.

Det betyder inte att man kan peka på vikt 7374829 och säga "där sitter norska översatt till turkiska". Så fungerar inte neurala nätverk....förmågan ligger utsmetad i representationerna.

Sedan detta med objektiva tester. Visst, tester visar att modellerna blivit mycket bättre, vilket ingen har förnekat. Men ett benchmark visar bara prestation på det benchmarkets uppgifter och format. Det är en datapunkt, inte ett bevis för att modellen därmed är AGI.

Vill du hävda att testerna visar att AGI är nära får du säga vilka tester, vilka trösklar och varför just de mäter generell intelligens och inte främst språk, mönster, kod, matte och teststrategi. Annars blir objektiva tester mest nån slags magisk trollformel.

Och igen, TS fråga var inte "är AGI nära?". TS visade en pedagogisk demo av prediktion av nästa token. Den kan diskuteras utan att vi behöver lösa hela AGI-frågan.

Så tillbaka till sakfrågan. TS visualisering är bra som intuition, men behöver i demon tydligare säga att 3D-rummet, axlarna och sfärerna är pedagogiska förenklingar. Själva tokenvalet sker via interna representationer, logits, sannolikheter och sampling, inte genom att modellen hittar närmaste ordkluster i en liten rymd.

Det är det konkreta. Det övriga som du håller på med är mest dimridåer.

Ok jag ska ge dig en enklare utmaning som inte ger dig otäcka mardrömmar som i: (FB) Hur språkmodeller fungerar

Låt säga att vi har följande rebus:

ABC-123
EFG-345
X??-???

Vad blir sista raden som börjar med X? Det tror jag att de flesta stora språkmodeller bör klara ganska snabbt.

Men hur ser det ut inne i modellen när den svarar på rebusen? Du har ju koll på hur den hanterar vikterna, berätta precis vad som händer.

Eller är det som jag har sagt hela tiden, man förstår bara de allra simplaste exemplen, Inte hur AI:n, det artificiella neurala nätverket (ofta kallad "språkmodellen"), kan resonera eller generalisera.

I det stora hela tror jag att vi förstår hur språkmoddeller fungerar, dom är ju trotts allt programmerade på ett specifikt sätt, som vissa smarta personer har programmerat dessa.

Dessa har tränats på miljontals datapunkter som grenar ut sig långt över vad vi många kan hänga med på eller ens kan förstå, om AI självt inte hade varit programmerade att säga att dom inte var AGI så hade nog de flesta trott att dom mest avancerade de facto var en faktiskt person.

AI har inte en förståelse på samma sätt som oss dock, de kommer nog att få det inom en ganska snar framtid, vi sammanflätar dom trotts allt med kameror som deras ögon, sensorer som ger dom rum och tid.

Våra hjärnor är ju faktiskt en superdator, neuroner, lång och korttidslagring, vi lär oss genom att se, känna, upprepa. Allt detta har en AI också så länge vi bygger ut det vilket sker i en allt fortare takt.

Språkmodellerna (de artificiella neurala nätverken) är inte programmerade av människor. Det är precis det som är problemet. Det som är programmerat, är träningsalgoritmen. Men det är långt ifrån samma sak som modellen.

Och på grund av detta kan vi inte veta om modellerna har någon form av förståelse eller inte. Det är bara gissningar, tyckande eller önsketänkande att det skulle vara på det ena eller andra sättet. Även min antydan om att de kanske har någon förståelse är spekulation. Skillnaden mellan mig och autisterna är att jag är öppen, ärlig och frågvis.