Stora språkmodeller - Teknik och Utveckling

Jag vet inte om jag befinner mig på någon specifik kant egentligen, jag är inte troende av den hypade AI tekniken just nu alltså transformers, men de kommer naturligtvis utvecklas och det kommer silvertejpas på alla möjliga lösningar och hack för att forcera framframsteg (det är troligen vad OpenAI gjort hittills och det är sannolikt en stor anledning till att de är så hemliga om deras nuvarande teknik)

Men jag vill se utvecklingen gå framåt, jag har skrivit det i något tidigare inlägg AI eller egentligen AGI (den definition som alltså innebär att den är mer eller mindre likvärdig med en människa på kognitiva uppgifter) är vad som fick mig att börja och bli intresserad av datorer till att börja med för drygt 36 år sedan efter vad jag misstänker ha sett några barnprogram involverande robotar osv (alltså sci-fi).
Men det tog till mitten på 90 talet (och detta pga internet vågen som var då) började lära mig och experimentera med AI algoritmer. Det var en period på något år sen låg det i dvala till mitten på 2010 talet ungefär men det är också det som skrämmer mig lite med det här "utvecklingen går så snabbt" för det är inte jättestora steg (i mitt tycke) jag tycker ett stort steg är när något är markanta förbättringar inte en siffriga procentuella skillnader men visst flera sådana adderar, men jämför man tex Nintendo spel på 80 talet med dagens PS5/Xbox Series X spel så är det ju en helt annan värld och detta är enorma förändringar, ofta mellan varje generation och något sådant anser jag inte det varit i AI världen, ens senaste åren då det investerats mer än någonsin.

Och det här med att AGI är runt hörnet, det har låtit så länge jag kan minnas så där av att jag inte är begeistrad av det, jag köper heller inte marknadsföring och opinions twittrar osv heller jag har sett det i mängder med år och personligen föredrar jag bli positivt överraskad, jag gillar Apple av den anledningen för de är knäpptysta tills de faktiskt har något att visa tillskillnad från många andra aktörer, jag har aldrig förstått vitsen med att skryta om något som inte finns för det är det enklaste som går att göra och det mest systematiskt missbrukade i hela mänskligheten tror jag.

Angående ruliaden är jag inte så insatt, jag vet bara att han försöker lägga fram en förklaring om hur enkla mekanismer kan vara grunden till alla komplexa system, ungefär som flock simulering av fåglar.

Och ett nytt papper publicerades i dagarna som påvisar att LLMs kommer ha svårt att förbättras utan ny arkitektur framöver.

https://arxiv.org/abs/2402.08115

Tack för den intressanta länken! Men jag skulle vilja ta upp en annan aspekt av AI-utvecklingen:
LLM-Transformers modellerna har, redan idag, en, Iof flyktig och begränsad, Meta-kognetion. Mycket troligt har detta uppnåtts genom uppmärksamhetshuvuden finns både i början och slutet av nätverket. Så att modellerna kan granska sin out-put, innan, den skickas till användare. Om det behövs justeringar så skickas svaret tillbaka in i nätverket för ombearbetning. Detta är, förstås, inte tillräckligt för att åstadkomma meta-kognetion på mänsklig nivå, men ett steg på vägen i väntan på t. ex SNN lösningar, (Spiking Neural Network). För tillfället bör vi inte underskatta de förbättringar som kan göras med nuvarande teknik, inklusive optimering av uppmärksamhetsmekanismer och utveckling av bättre minnesfunktioner. Även fast ren uppskalning, med dagens teknik, är för tok för ineffektiv i längden.