Stora språkmodeller - Teknik och Utveckling

Här kommer en intressant video om Transformer-teknikens historia. Man tar också upp den spricka som sedan uppstått ibland AI-forskarna.

https://youtu.be/OFS90-FX6pg?si=0_BbmnORh-S9pvyG

Själv befinner lilla jag mig någonstans i mitten. Kan vara frustrerande men också mycket intressant! 🙂

Ja vilket gör det märkligt att det spås om AGI runt hörnet, det har gjorts framgångar definitivt men det är också uppenbart hur långt det är kvar och återigen problemet är att vi vet inte vart vi ska eller hur vi tar oss dit.

Jag tycker det är en självklarhet och det är så frustrerande att se personer (som oftast har ekonomiskt intresse av att hypen och således investeringar fortsätter flöda in) är så optimistiska.

Det är precis som att köra hem en överberusad främling som knappt kan få fram ett förståeligt ord, du vet inte vart du ska, du vet inte när ni är framme och att tro att personen i fråga ska ta sig hem själv i det tillståndet är (att AIn själv ska säga vad som behöver göras) helt uteslutet.


Har inte sett detta ännu, men låter från din beskrivning ungefär som jag uppfattat situationen, bara att majoriteten av seriösa forskare som inte hänger på twitter hela dagarna är väldigt skeptiska medans alla är överens om att det gjorts framsteg men inte i den omfattning som hypen och framförallt oförstående journalister tror.

På ämnet som jag ironiskt nog ska länka till twitter.

Men det här är problemet med transformers och varför även om tex förespråkare som Ilya Sutskever skulle ha rätt att det bara är att fortsätta skala upp nuvarande teknik (Vilket de flesta forskare inte tror ett skit på av många anledningar)

Detta är Jim Keller (en legendarisk chip designer som bland annat designat AMDs processorer, x86-64 instruktionssettet, Apples Ax processorer (de som sitter i iPhone) som sedan några år gjort AI acceleratorer i Tenstorrent)

https://x.com/jimkxa/status/1731033721388793906

Nu har jag sett denna från början till slut, ganska bra och objektiv summering.

Personligen tillhör jag kategorin som de i videon som anser att språkmodellerna är "en spegelbild" av mänsklig kognition och det har inget med att jag inte skulle tro att vi kan artificiellt skapa "riktig" AGI utan för att det är fel teknik för det.

Och sen det med statistik är ytterligare en sak som talar emot att det är rätt väg i mitt tycke (det är liknande med kvantmekanik som också bygger på statistik, men för mig instinktivt tror jag det mycket mer är en "workaround" för man inte ännu förstår det jag tror tex Broglie–Bohm är mer rätt (som bygger på att kvantmekanik är deterministisk) än den nuvarande Köpenhamns tolkningen (Men jag är ingen kvantforskare så jag spekulerar så klart enbart utifrån vad jag läst om ämnet för sådär 20 år sedan och använder detta som analogi, men för mig är det bara principiellt fel med det menar jag i stort sett all matematik inom de områden vi "förstår"- är deterministisk och vet vi bara alla parametrar så kan vi deterministisk räkna ut det.)

Statistik är en metodik för att visualisera, analysera och presentera trender, "det stämmer" i stort men det stämmer inte för detalj analyser, jag menar om du frågar 1000 slumpmässigt valda personer från alla etniciteter, åldrar, kön osv vad de föredrar pepsi eller kola kommer du få ett definitivt svar att N% föredrar det ena eller det andra, frågar du en slumpvist vald person så har du ingen aning utan kan bara gissa vad som är mest sannolikt att denna kommer svara, men det kan vara helt fel gång efter gång det enda du vet är att om du frågar tillräckligt många kommer det absoluta svaret du fick resultera i vad din statistiska mätning gjorde, och det enda sätt du kommer få ett korrekt värde då är om du antar att varje person du frågar skulle gilla den mest sannolika produkten gång på gång.

Språkmodellerna bygger på detta, men det är också varför de hallucinerar- statistik är inte rätt varje gång (som i exemplet ovan) och man har ingen lösning på detta i den grundläggande tekniken utan det man försöker göra för att mitigera det (vilket fungerar till viss del) är att träna på mer och mer data för att sannolikheten att den väljer fel ord (och börjar sladda i väg på något helt annat än vad den började skriva om) ska bli mindre i det stora hela men det löser fortfarande inte det lokala problemet som jag försökte illustrera ovan, det spelar liksom ingen roll om modellen väljer rätt token/ord i 85% av användningstillfällena gör den inte det 100% är den inte pålitlig och kan inte lämnas till en autonom uppgift utan ytterligare steg, men människor gör också fel så klart men det är betydligt lägre felmarginal än så och speciellt om de är erfarna inom uppgiften, det är som om en kock skulle hugga sig i fingret var 85:te morot han skivade.

Sen att det går använda tekniken som den är, är en helt annan sak, men jag tror personligen det är en illusion som fångar och reflekterar tankegångarna i människors uttryck och det absolut starkaste argumentet för detta är att tekniken fungerar inte på tex video eller bilder, de lär sig inte hur världen fungerar då, vilket de påstås göra utifrån texter de läst (något jag betvivlar också eftersom liknande det papper du publicerat har jag också gjort egna experiment med egen påhittade exempel där kuber osv man beskriver ska roteras och det ger nästan aldrig rätt svar och hittills har jag aldrig fått GPT-4 att kunna berätta samtliga sidor korrekt, alltså den kan tex ha fått "framsidan" rätt om jag frågat om det men om jag sedan frågar "vilket nummer är på undersidan/baksidan/osv?" så blir det fel varje gång och det indikerar för mig att de inte har någon rumslig uppfattning alls.

Det är en intressant utveckling oavsett och den kommer fortsätta i någon mån tills den dag vi skapat en riktig AGI/ASI. Det är hela syftet med datorvetenskapen att automatisera uppgifter.

-
Tillägg
Sen det här med tex multipla modeller som ChatGPT 4 nu är där du har GPT-V, GPT-4 och DALL-E i samma "modell" är också en illusion, GPT-V och GPT-4 kan vara rent tekniskt en och samma modell (men jag har hört motsatsen från folk jag litar på) DALL-E ÄR helt egen modell, det är inte ens någon hemlighet.

Men det ger också "illusionen" om att tekniken är längre gången än den faktiskt är.
Som tex illustreras av denna kemist, https://x.com/leecronin/status/1730496943074242636?s=20
Den har som sagt inte en susning vad den håller på med.

Några exempel, samtliga av dessa är GPT-4

• Här är ett simpelt exempel på om modellen har en förståelse av 2D.
  https://chat.openai.com/share/d4665441-461f-4515-b40b-b0b06f878b0e
  (Korrekt svar hade varit att 1 hade varit upp och ner)
• Och rotation av en kub i 3D och jag gjorde dessa exempel nu, och i detta fall tog den till och med och skrev ett litet python program som jag inte sett den göra tidigare (det är en liten blå pil i länken som expanderar python programmet den skrev)
  https://chat.openai.com/share/b0782fa0-92df-4bf7-abe4-60a8deea8da1
  (Eftersom vi roterar uppåt behöver vi enbart bry oss om framsida, ovansida, baksida och undersida.
  Konfigurationen är 1(fram) 5(top) 3(bak) 6(under), rätt svar hade varit 6(fram) 1(top) 5(bak) 3(under)

Jag förstår som sagt inte hur någon kan påstå att dessa modeller uppvisar tecken på intelligens.

Samtidigt så verkar det i klippet som jag länkade till att Transformer-huvudena, i sig, är små ANN som hjälper modellerna att förstå sammanhanget i en text. Huruvida det de allt större token-fönstren också är kopplat till detta känner jag inte till eftersom saknar datavetenskaplig bakgrund.

Ja, det är små (FNN) nätverk i attention mekaniken det är de som kopplar token till den interna vektor representationen.

-

Jag yrar nu, det är word embeddingen som gör detta (som jag skrev ovan) och det görs innan transformern.
Skriver en förenklad steg för steg översikt i stället.

En väldigt förenklad förklaring är att det fungerar så här.

1. Användaren skriver in text
2. Texten tokenizeras (av en vanlig algorithm, tokenisering är alltså att texten delas upp i mindre delar, tex alla mellanslag tas bort "Detta är min mening" skulle kunna resultera i att den delar upp meningen (i programmeringstermer heter det en sträng, till substrängar) "Detta", "är", "min", "mening" sedan slår den upp varje ord i en tabell som innehåller ett numeriskt id (det finns oftast id's för separatorer, start/slut på mening, okända tokens osv också), denna tabell skapas som ett försteg innan man börjar tränar modellen baserat på frekvensanalys utifrån all data man har och exakt hur många och vilka som får ID:n beror på hur stort man vill göra vokabulär osv men låt anta att det redan finns nu..)
3. token sekvensen är nu alltså siffror tex 5,3,2,6 (för sekvensen ovan)
4. Nu positions encodar man och word embeddar sekvensen (detta är vad som kopplar token till vektor representationen)
5. Först nu kommer Transformern in i bilden, token strömmen skickas in till transformern.
6. Varje attention huvud på sitt underliggande "token" (egentligen representationen) för beräknas hur viktiga kringliggande tokens är, detta mer avancerat än det är men vad det egentligen gör är att det fungerar som ett filter. (Det lilla nätverket som vad du frågade om finns här för att vikta filtreringen, det tränas också vid träning av modellen)
7. Resultatet från attention huvudena summeras och skickas genom det stora FNN för att få ut nästa vektor.
8. Och tillslut passas det genom en dekoder för att få det förutspådda tokenet och tillslist så slås token mot tabellen för att få ut vad det motsvarar i mänskligtext

Tack för din utläggning! Jag befinner mig någonstans mitt i en triangel där hörnen är Alarmister, skeptiker och extrema tekniknördar/överoptimister. Det gör att jag kan ta till mig argument ifrån alla sidor, vilket är en intressant resa för mig. (Låt vara att alarmisterna, under senare tid framstått som "retoriska papegojor", men AI-säkerhet och "The Alignment Problem" är ändå viktiga frågor för mig, speciellt när vi når fram till ett svagt AGI och vidare efter det).

Själv har jag blivit intresserad av Stephen Wolframs hypotes om "ruliaden", vad den innbebär och vad den kan tänkas innebära för oss, vetenskapen och AI i framtiden.

Jag vet inte om jag befinner mig på någon specifik kant egentligen, jag är inte troende av den hypade AI tekniken just nu alltså transformers, men de kommer naturligtvis utvecklas och det kommer silvertejpas på alla möjliga lösningar och hack för att forcera framframsteg (det är troligen vad OpenAI gjort hittills och det är sannolikt en stor anledning till att de är så hemliga om deras nuvarande teknik)

Men jag vill se utvecklingen gå framåt, jag har skrivit det i något tidigare inlägg AI eller egentligen AGI (den definition som alltså innebär att den är mer eller mindre likvärdig med en människa på kognitiva uppgifter) är vad som fick mig att börja och bli intresserad av datorer till att börja med för drygt 36 år sedan efter vad jag misstänker ha sett några barnprogram involverande robotar osv (alltså sci-fi).
Men det tog till mitten på 90 talet (och detta pga internet vågen som var då) började lära mig och experimentera med AI algoritmer. Det var en period på något år sen låg det i dvala till mitten på 2010 talet ungefär men det är också det som skrämmer mig lite med det här "utvecklingen går så snabbt" för det är inte jättestora steg (i mitt tycke) jag tycker ett stort steg är när något är markanta förbättringar inte en siffriga procentuella skillnader men visst flera sådana adderar, men jämför man tex Nintendo spel på 80 talet med dagens PS5/Xbox Series X spel så är det ju en helt annan värld och detta är enorma förändringar, ofta mellan varje generation och något sådant anser jag inte det varit i AI världen, ens senaste åren då det investerats mer än någonsin.

Och det här med att AGI är runt hörnet, det har låtit så länge jag kan minnas så där av att jag inte är begeistrad av det, jag köper heller inte marknadsföring och opinions twittrar osv heller jag har sett det i mängder med år och personligen föredrar jag bli positivt överraskad, jag gillar Apple av den anledningen för de är knäpptysta tills de faktiskt har något att visa tillskillnad från många andra aktörer, jag har aldrig förstått vitsen med att skryta om något som inte finns för det är det enklaste som går att göra och det mest systematiskt missbrukade i hela mänskligheten tror jag.

Angående ruliaden är jag inte så insatt, jag vet bara att han försöker lägga fram en förklaring om hur enkla mekanismer kan vara grunden till alla komplexa system, ungefär som flock simulering av fåglar.

Ruliaden, om den hypotesen stämmer, (vissa av Einsteins ekvationer passar som hand i handsken till den), så tror jag det kan få riktigt omvälvande konsekvenser, större än AI självt.

När det kommer till dataspel så är jag fullt nöjd med 90-tals spel som "Wolfstein 3D", många av dagens dataspel har ändå inte mer komplext koncept än så. Men framtiden utlovar virtuella spelvärldar med AI-styrda mångbottnade karaktärer, vilket kan bli intressant.

Personligen tycker jag attLLM inneburit ett stort framsteg, då vem som helst kan interagera med ett AI. Om sedan den tekniken, eller delar av den, kan användas för att bygga framtidens kraftfulla AI, återstår att se.

Det är en enorm skillnad på komplexitet i dagens spel mot dåtidens. Wolfenstein 3d (och för den delen Doom) är däremot ett bra exempel för det illustrerar egentligen vad jag anser en LLM är, det är inte äkta 3d och utan bygger på genvägar och illusioner för att ge bilden av att något mycket mer komplext än vad faktiskt är, 1994/95 när Quake släpptes däremot det var då 3d utvecklingen tog fart och det var då 3d acceleratorer osv började utvecklas (mycket drivet av just detta spel).

Det är ju det som är problemet med LLMs, de ger intrycket av att kunna mer än de kan för att de just är tillgängliga för vem som helst, tror du samma revolution har hänt med CV (alltså computer vision) senaste åren? Som dessutom är vad neurala nätverk är influerade och skapade från (näthinnan alltså) det i stort sett enda jag vet som har gjorts är bild till text modeller (som är mer relaterade till LLMs än CV) där bilder kan annoteras med vad de innehåller lite mer "mänskligt".

Som jag skrivit flera gånger det har gjorts mängder med försök att mata bild data in i transformer modeller (det är så man gör bild till text för den delen) men de förstår inte bilderna mer än just vad som är på dom, men frågar du tex GPT-4 "Jag har en vas på ett bord, och drar undan bordet vad händer då?" så kommer den troligtvis svara "Vasen kommer falla till marken och möjligtvis gå sönder" vilket ger illusionen av att modellen har förstått tex gravitation.
Gör du samma sak med en sådan modell som du tränat på bilderna och skickar in en sekvens där du faktiskt drar bort borde (och innan vasen fallit) ber den förklara vad som kommer hända så kan den inte det, den förstår inte. Och det är ett av de argument som Yann LeCun brukar använda när det diskuteras reasoning.

Och vad det gäller AIs framtid kan svaret mycket väl ligga i en kombination av mjukvara och hårdvara (och med hårdvara menar jag inte snabbare datorer utan det forskas massvis återigen på en nu mer nästan bortglömd teknik, analoga datorer)