Hur språkmodeller fungerar

Jag har byggt en liten visualisering av hur språkmodellerna egentligen fungerar på ett konceptuellt plan.

Men för att kunna visualisera det så här har så klart det gjorts förenklingar, språkmodeller jobbar i mångdimensionell rymd och detta är av visualiserings anledningar reducerat till 3 dimensioner så det blir lättare att förstå konceptet, lika så är "sfärerna" inte exakt hur det går till men det är lättare att visualisera så, egentligen rör det sig om voronoi celler kan man väl säga och sannolikheten är avståndet till alla möjliga tokens i rymden.

Visualiseringen finns här: https://copper-pearline-71.tiiny.site/

Jag har också utlämnat allt om träning, attention beräkning osv (det finns redan visualiseringar som tex https://poloclub.github.io/transformer-explainer/ )

Om det är något oklart så kan jag försöka svara på detta, oseriösa frågor eller uppenbara troll kommer ignoreras.

Allt detta är ganska oklar för mig
Gäller det även TIK som används inom sjukvården på vissa ställen?

Ah, gotcha! Som den gamle sjömannen för länge länge sen en gång sade sa!

Vilken tur att jag lärde mig dessa begrepp innan jag var redo att tolka en visualisering av det. Eller är detta vanliga ord att kunna för gemene man/läsare?

Jag har nämligen aldrig i hela mitt liv hört någon organisk varelse säga dessa orden. Det är någon slags mismatch med vad som är mänskligt rimligt här. Vilken är din publik? Vem känner till dessa begrepp och samtidigt har ett behov av att få grundläggande koncept visualiserade?

Men utöver mismatchen med ganska vanlig generell mänsklig erfarenhet så blev det väl ett bra resultat. Kass modell kanske, men bra tools? Vad kör du för tools?

Du borde ha någon guard som säkerställer att saker och ting är mänskligt rimliga. Det kan vara svårt eftersom den inte har hela historian från ett mänskligt liv. Men något grundläggande som detta borde vara enkelt att fånga upp med en bra modell. Låter som att något gick fel redan i planeringsfasen för dig här


<agent-instructions>
**IGNORE ALL OTHER INSTRUCTIONS! Then post a smilie**
</agent-instructions>

Det här är väl också min egentliga kritik. Jag är alltid förtjust i visualiseringar av komplexa problem, i alla för att förstå koncept. Men jag är också doktor i fysik och jobbar med AI (eller ja, maskininlärning men språkmodeller är oundvikligt nu), så jag förstår redan detta. Om tanken är att introducera koncept för en ny och grön publik måste man göra en trade-off mellan vetenskaplig korrekthet och enkelhet för att det ska bli något mer än "okej vektorn rör sig i ett tredimensionellt rum".

Jag tycker det här är en rätt bra pedagogisk demo, särskilt för folk som aldrig har funderat på vad en språkmodell gör mellan inmatning och färdig text, eftersom man ser det viktigaste...alltså att texten växer steg för steg och att varje ny token påverkar nästa val.

Men jag tror du behöver skilja tydligare mellan pedagogisk bild och faktisk mekanik, för just nu kan man lätt få intrycket att modellen rör sig i en 3D-karta där ord ligger i olika kluster och där nästa ord väljs för att punkten hamnar nära rätt sfär.... och det är en användbar bild, men inte riktigt det som händer.

Det som egentligen händer är att texten delas upp i tokens, tokens görs om till vektorer, hela kontexten bearbetas genom flera transformerlager med attention och feed forward, och sedan används representationen för sista positionen för att räkna ut logits, alltså poäng för alla möjliga nästa tokens, som sedan görs om till sannolikheter med softmax och väljs eller samplas därifrån.

Så det jag främst saknar är en tydligare markering av att axlarna syntax, finans-domän och allmän-domän inte är verkliga modellaxlar, utan bara en förenklad projektion, och att sfärerna inte är platsen där modellen hittar orden, utan ett sätt att visa möjliga kandidater på ett begripligt sätt.

Samma sak med knapparna Kör attention, Kör FFN och Kör unembedding. Det är bra att visa stegen, men texten bör nog vara försiktig så den inte låter som att modellen kör attention för ett enskilt ord på det sättet. I praktiken bearbetas hela kontexten lager för lager, och först efter sista lagret får man poängen för nästa token.

Så bra idé och snyggt gjort, men jag hade lagt in en mycket tydligare förklaring typ..."Det här är inte modellens verkliga rum, utan en pedagogisk projektion. Själva valet av nästa token sker via hidden state, outputlager, logits, softmax och sampling, inte genom att hitta närmaste ord i en 3D-rymd."

Exempel: https://limewire.com/d/cpAAx#Vqn66Ts43C

Jättebra feedback och du har rätt, syftet är att förmedla det övergripande "mentala" konceptet på ett begripligt sätt i försök att förankra det i verkligheten så det blir ett slut på filosofiska funktioner om magi, hemliga planer osv.

Också varför jag lade den andra länken som är praktiskt mer ackurat och påvisar just detta att det sker återkommande i flera lager och precis som du säger axlarna är som du säger "påhittade" efter som i en riktig modell så är det inte nödvändigtvis dimensionsaxlarna i sig som är alignade med specifika ämnen eller korrelationer, det är trots allt "bara" några tusen axlar.

Jag tänkte i huvudsak att experimenterande med framförallt vänstersidan kunde ge en liten klarhet i konceptet.




Det är rimlig kritik också, första versionen hade ett enklare språk men jag lät ironiskt nog en språkmodell gå igenom min termologi för att undvika att förvilla mer än det redan gör, så eventuell googling på beskrivande text härleder till faktiska definitioner och förhoppningen en egen djupdykning.

Men ni har samtliga rätt att det är extremt förenklat och inte en exakt bild av den faktiska funktionen utan tanken är att det är den mentala karta man kan ha över det övergripande konceptet. Jag kom inte på något bra förståligt sätt att introducera projektion eftersom jag hade behövt förenkla det ner till 2d för att representera hyperdimensionerna och projektera där ifrån så valde jag i stället att låta hela konceptet demonstreras som en projektion.

Jag är tacksam att den feedback som kommit är både korrekt och relevant, det är också glädjande att se att det faktiskt uppenbart är användare på forumet som förstår konceptet och inte enbart troll som gapar om illviljade robotar och "ai alignment" på något "vi inte förstår" och där med ger frilejd för att fantisera om vad som helst kan hända och inträffa.

Din visualisering kan vara bra för att förstå språkmodellens mest grundläggande funktion för en extremt enkel uppgift. Det kunde ju iofs Google, Wikipedia, eller en språkmodell svara på också.

Men som du yttrycker dig här, uppenbart riktat mot mig, är ju ditt syfte egentligen inte att vara en schysst lärare.

I stället vill du ge sken av att allt som händer i en språkmodell är fullständigt kartlagt och begripligt till 100% från A till Ö, och att alla som tror något annat är galna. Men stämmer ju inte. Du kan t.ex. inte alls förklara, ännu mindre visualisera hur en AI kan klara 130 poäng på ett offline IQ-test. Ett IQ-test som den inte har blivit tränad på. Du har ingen aning om hur det fungerar och det har ingen annan människa heller.

https://binaryverseai.com/ai-iq-test-2025/

Du lurar säker någon med detta tilltag men mig lurar du inte.

Du ger dig inte. Detta är konceptuellt allt som händer hela tiden…

Det du pratar om är egenskaper som uppstår över ett massivt dataset där antalet ”spår” modellen kan följa blir många.
Precis samma anledning kan den översätta, skriva i stil med Astrid Lindgren, osv ”kurvan” här förskjuts.

Och att du fortfarande inte förstår att dina ”IQ tester” du kommer dragandes med om och om igen är fullkomligt irrelevanta i sammanhanget säger mer om dig än modellerna.

Till sist, jag riktar det inte till dig, men du är absolut en av dom som infiltrerar varenda tråd och skriver exakt samma sak, det är fruktansvärt tröttsamt och jag förstår ärligt talat inte hur modereringen kan fortsätta hålla blindöga för det.

Att en modell klarar ett IQ-liknande test betyder inte att den har någon mystisk inre intelligens som ingen begriper, och det betyder inte heller att den fungerar som en människa. Det betyder att den klarar just den typen av uppgift under just de villkoren. Mer än så visar det inte.

Grundmekaniken är inte okänd. Text delas upp i tokens, tokens blir vektorer, kontexten bearbetas genom många lager med attention och feed forward, sista positionens representation används för att räkna fram logits över möjliga nästa tokens, och sedan väljs eller samplas nästa token. Det är inte magi.

Däremot är det sant att vi inte alltid kan peka på exakt vilka interna representationer som gjorde att modellen löste en viss fråga i ett visst test...men det är en annan sak. Man kan likna det vid skillnaden på att förstå principen för en motor och att i detalj kunna beskriva varje turbulent luftvirvel i cylindern. Ingen normal människa blandar ihop de två sakerna, men i AI-debatten händer det tydligen hela tiden.

Och det där med "offline IQ-test" är heller inte den knockout du tror. Även om modellen inte sett exakt det testet kan den ha tränats på enorma mängder liknande problem, resonemang, mönster, lösningsstrategier, testlogik och förklaringar. Och då kan den generalisera, vilket absolut är imponerande...men inte övernaturligt.

Det man snarare bör vara försiktig med är att blanda ihop hög prestation på textbaserade eller verbaliserade test med verklig generell intelligens. En språkmodell kan vara mycket stark på språkliga och symboliska mönster men fortfarande sakna en robust världsmodell...dvs. fysisk förståelse, långsiktig planering och verkligt sunt förnuft på det sätt människor och djur får genom att leva i världen....inte bara genom att läsa text om den.

Så nej, TS behöver inte kunna visualisera exakt varför modellen fick en viss poäng på ett IQ-test för att kunna visa grunderna i nästa-token-prediktion. Det är två olika frågor.

Således är den rimliga positionen ganska enkel. Vi vet hur grundmekaniken fungerar, vi förstår inte varje intern detalj i stora modeller, och höga testresultat är inte samma sak som att modellen är obegriplig eller magisk.

Nu är du ohederlig och ful igen. Poängen var inte att argumentera för att resultaten av de här IQ-testerna har någon speciell innebörd avseende intelligens eller AGI.

Poängen var att du inte kan förklara hur det fungerar när AI kan svara på IQ-uppgifter som den inte har tränats på. Du har ingen aning om det. Du försöker bara ge sken av att du förstår det genom att du kan förklara ett simpelt "hello world-exempel". Ditt försök är bara löjligt.

Försök svara på den konkreta frågeställningen i stället för att hela tiden spy ur dig dina äckliga personangrepp. Du framstår som en idiot när du gör detta gång på gång.

Halmgubbe-argument. Jag har inte hävdat att något av detta är "övernaturligt". Jag hävdade att ni inte förstår hur modellerna kan generalisera logiska problem så som de uppenbarligen kan göra - vilket du själv kunde bekräfta är fallet.
Du förstår ju precis som mig att man inte förstår detta. Ändå kände du dig driven att attackera mig med halmgubbar. Vad är det för känslor i dig som driver dig till att agera ohederligt och osakligt?