AI - Har det peakat?

Det är inte frågan om vektorrum/vektorrymdar, utan en enda stor rymd och vi kan inte visualisera/begripa det eftersom det rör sig om tusentals "dimensioner" i den vektorrymden.

Precis som du säger så grupperas "ord" (egentligen tokens då) som förekommer i samma sammanhang närmare varandra, det är ingen "emergent" egenskap som många verkar tro- dvs att modellerna på något sätt "lär sig" göra detta, det är en konsekvens av embedding (dvs att konvertera tokens till numeriska sekvenser/vektorer).

Som idé funnits sedan 80 talet och word2vec blev den mest kända versionen, 2013.



Det är missförstånd så det är galet om sådant här, det hjälper inte förstå "LLMs" ett dugg och det har inget med LLMs att göra alls egentligen som jag skrev i ovanstående citat...

Precis som allt annat internet/dator-trams kommer AI snart att vara fullt med reklam och offer för enshittification.
AI kommer att göra människor dummare.
Det mesta AI lär sig lär sig AI av människor.
Och i takt med att människor blir dummare kommer AI också att bli dummare.

svar på topic: Nej.

Nej, som jag förstått det är det inte processen som gjort om tokens till siffror som är orsaken till deras gruppering, det har helt att göra med hur det tränade neuronätet organiserat det, vilket i sin tur beror på träningen.

produktions tiden för kod ör mer än halverad. I no code low code världen producerar du appar etc mycket snabbare med rätt teknik. Som programmerare tror jag vägen framåt är att använda ai och förstå promting är mycket viktigare än att kunna flera språk. Jag själv är inte renodlad programmerare även om jag har viss kunskap i vissa språk. Jag är mer arkitekt. Vissa delar kan jag producera själv idag med hjälp av ai. Tidsfråga innan jag kan göra helheten och kan i vissa fall göra det redan nu. Skript, appkod etc.

Hur kommer det sig att flashback inte uppdaterar sin kod då? Vi sitter fortfarande och skriver till varandra på en stenålderssajt

Nej det är självfallet inte själva “konverteringen av tokens till siffror” (som också heter tokenisering) som orsakar grupperingarna. Det är naturligtvis träningen av embedding-matrisen tillsammans med resten av nätverket som formar vektorrummet.

Det jag försökte förtydliga var att mönstren uppstår redan i embeddings som en direkt konsekvens av träningsmålet (tex. att förutsäga nästa token) och det kan observeras även i väldigt enkla modeller som bara består av embeddings och en output matris… Dvs helt utan alla lager av transformrar ovanpå eller dyl. Men ja, den strukturen kommer först när embeddings optimeras genom SGD, men min poäng är att det är inte en emergent egenskap som uppstår huxflux av modellen… ska försöka förtydliga…

Om du ger ord en slumpmässig koordinat i ett N-dimensionellt rum (tokeniseringen ger varje ord ett id) när modellen tränas justeras dessa koordinater steg för steg via SGD så att ord som ofta delar kontext dras närmare varandra, och ord som inte gör det trycks isär. Det är alltså inte någon mystisk “emergent” bieffekt, utan en direkt följd av att designen på algoritmen/SGD och embeddingen är sättet som man kommit på för att ”översätta” ord sekvenser till ”vektor kurvor” för att kunna använda det med SGD och alltså resultatet kommer enbart spegla sannolikheter i språket, mer magiskt än så är det inte, faktumet att tokens klustras ihop är ett resultat av att intelligenta varelser skapat datan som det tränas på, inte för modellen ”förstår och grupperar” saker, det är frekvens analys och att hitta ett optimalt minimum med en stegvisfunktion som SGD (som jag förutsätter du vet står för stochastic gradient descent)

Edit:

Kanske behöver vara extremt tydligt, ”delar kontext” betyder alltså förekommer i liknande ord följder.

Hur är man arkitekt utan att programmera?

Angående min tidigare fråga så var det mer riktat åt att om AI kan producera något själv, det kan inte AI.
Men däremot gör det duktiga utvecklare så mycket snabbare som du också nämner.
Ett problem med att vara "snabb" är att det också går snabbt att producera skit

För jag tror en stor effekt är utslagning av utvecklare som inte förstår hur man skriver kod som går att underhålla. Samtidigt så de som gör det kan producera mängder

Just nu tillåter vi inte AI producera själv. Det innebär inte att den inte kan. Det är en tidsfråga innan AI kommer förbi det. AI plus kvantum?

Gällande arkitekt, det kan man vara på olika nivåer men visst kan jag i viss mån koda men det är inte min huvudsyssla.

Även det jag gör kommer kunna ersättas och många gånger använder vi AI även för den delen. "Kunden vill lösa följande och har följande".

Visst kan vi producera skit med AI men det är ju det ingen som köper iaf och skulle man ha gjort det kan man lätt använda AI att rätta kod och strukturera om den vid behov. Just nu ser jag att den allra viktigaste egenskapen för min bransch iaf (IT) att ligga stegen före kunderna. Promting är en av de viktigaste sakerna att lära sig.

Det finns en liten lucka nu (vet inte hur länge den varar) där vi kan ta betalt som vanligt för våra tjänster, med kortare implemenation/lösningstid med hjälp av AI, och på så sätt öka vår produktivitet samtidigt höja lönsamheten tillfälligt. Men den luckan kommer stängas och då måste vi hitta andra sätt.

Jämförelsen är väl inte helt korrekt för AI är mycket större men för att exemplifiera så kan man jämföra det med vad tjänster som Spotify gjort med hela musikbranschen. Om man INTE anpassar sig till den nya verkligheten så kommer man gå under hundra procent.

Jag tror inte AI har nåt sin potential.

Vad AI då gör är att jämföra med vad den läst in och ser om den har något den kan kopiera, då kan den möjligen lösa enklare uppgifter men programmering har gått tillbaka under många år. Kvaliteten idag på utvecklare är inte i närheten av vad den var för 20 år sedan (självklart finns det undantag), möjligen jämför man med utvecklare som knappt kan programmera.

AI kommer inte klara vad riktiga utvecklare gör. Det beror på att tekniken har begränsningar, det går inte att dra det så mycket längre.

Personligen så tror jag det stora användningsområdet för AI är anpassningar, att AI klarar av att anpassa nyckelfärdig mjukvara och där har det redan hänt en hel del.

jag har 30 år i branschen. Och jag håller inte alls med dig om kvaliteten, möjligheterna och vad ai kan göra. Rent krasst ser jag ditt uttalande som okunnigt och förlegat. Menar inte att förolämpa men ja.