AI - Har det peakat?

Njae, det är kvalitet i träningsdata som behövs. Det här med "deep learning" som kräver som mycket hårdvara är bara att de försöker kompensera för att modellen själv inte förstår vad som är bra och vad som är dålig information. Det samt att de försöker få upp kvalitet med större "context" (mer information för att beskriva sammanhanget).

Deep learning är rätt kass teknik och då får ett genomsnitt när det handlar om subjektiv information. För "specialister" fungerar inte dessa modeller alls. De ger väldigt mycket fel och medioker kvalitet, man måste vara ordentligt detaljerad för att få önskad feedback.

Vad de fungerar för är nybörjare och som en slags sökmotor eftersom de tankat så enormt mycket information.

Det handlar alltså INTE om snabb hårdvara utan vad det handlar om är kvalitet.

Och vad finns det för värde i dessa kåkar om AI failar? Ungefär samma som i Northvoltbygget eller SAABS tomma fabriker i Trollhättan. Snarare negativa värden om de måste rivas...

AI fungerar ungefär som en högfunktionell autist. Den letar och hittar mönster snabbare än andra. Sen är frågan vad den gör med denna information.

Jag tror att det är där vi är idag. AI kommer inom kort veta vad den ska göra med informationen och kommer skapa något som liknar det vi kallar medvetenhet. Jag tror att vi bara sett början av AI.

Hur mycket har AI utvecklats på extremt kort tid? Varför skulle det abrupt sluta nu?

När de släpper ny modell är den cp bra. Sen sänker dom outputen pga kostar för mkt för dom.
Jag tror det finns helt sinnessjuka modeller som de inte släpper pga kostar för mkt i drift. Så ja, enligt min uppfattning, är det ett energi och kostnadsbesvär som står i vägen för kraften av AI och detta försöker man mitigera genom att göra modellerna smartare för man har nått en flaskhals i tekniken för chip + energi.

Chip - sker små förändringar pga nått flaskhals på sikt pga svårt

Energi - bygger kärnkraftverk detta är en flaskhals nu men ej på sikt

AI programvara - har nått ett tak och nu försöker man ändra så att den är smartare utan att dra mer ström etc pga kostar för mkt att köra alla cylindrar (vi dödliga har inte ens sett när de ges full kapacitet, antar helt sjuk då)

Vad får dig att tro att storlek på en modell är samma sak som att den är bättre?

Känner du till ML (Machine Learning)? Modellerna där är inte i närheten, där kan man göra en egen modell till och med. De är så små men ändå bra (om de gjort rätt).
Orsaken till att ML är så mycket enklare är beror på att det finns ett rätt svar. Det handlar alltså inte om subjektiv information utan man vet det rätta svaret.

Ungefär som att 1 + 1 = 2. Det kan aldrig bli något annat än 2

Machine Learning kan ofta producera egen träningsdata just på grund av att de vet det korrekta svaret. Ta schack, det går lätt att träna upp en modell och få den att vinna över varenda schackspelare eftersom de bara kan slumpa ut nya positioner och spela spelet om och om igen samtidigt som de tränar upp modellen. Det finns ett slutligt facit. Någon vinner baserat på specifika regler precis som det finns regler i matte och därför är alltid 1 + 1 = 2.

Deep learning, där vet du inte rätt svar så därför försöker de kompensera med mycket data. Problemet med det är att du får ett genomsnitt. Inom programmering var de första modellerna som kom mycket bra faktiskt, det tror jag beror på en sajt som heter stack overflow. De kunde via den sajten få väldigt bra kvalitet på träningsdata. De gick helt enkelt in och snodde informationen. Efter det har det kommit några sämre alternativ innan det vart bättre igen och vad de kämpar med är kvaliteten på träningsdata.

Finns några mindre modeller som är väldigt bra inom programmering, vet att en modell har ett speciellt rankingsystem för github där de går in och använder data för att träna upp modellen. De behöver därför inte speciellt mycket träningsdata men de behöver jobba en del med att ranka olika projekt på github gissar jag.

Men bara för att en modell är stor så är inte det samma sak som att den måste vara bra

Tja, det är väl en fråga för JPM då. Iom att dom går med på att byggnaderna belånas så ser dom väl att det finns användning. Baserat på historiska data för den storleken av byggnader.
Sedan handlar detta om USA som är mer liberalt och där folk tar mer initiativ. Och då är det väl större sannolikhet att folk ser möjligheter med att utnyttja byggnaderna.

Om du tvivlar så kan du alltid blanka JPM då.

Nu nämnde dock Musken härom dagen att han såg en mättnad av chipmarknaden om ca ett år.

Det skulle då innebära att priserna på chip dalar, och capex för HW faller. Energikostnaden består. Men totalt faller priset. Så antingen kan dom då:
* hatta på med större modeller.
* sänka pris eller tjäna mer. (För de som investerar framöver då).


En given mängd vikter kan lager ett maximum av kunskap.
Har man nått ett tak för träningen, dvs mer träning förbättrar inget, så blir inte modellerna bättre.

Större modeller kan lagra mer kunskap. Men förstår ju inget. Dom blir så att säga bättre uppslagsverk. Men inget mer.

Se LLM'erna som Eliza med store databas.

Skulle väl vara för att man nått taket för hur mycket CPU-kraft man har råd att kasta in.

Och att man nått taket för hur mycket träningsdata man har.


Notera att detta gäller inte för där man använder NN för specifika ändamål. Jfr Alpha-fold.
Här går det att göra fler NN-baserade verktyg.

Skulle säga att man nått ett tillfälligt tak. Förut fick man bättre resultat bara för att man körde större och större data. Men nu har man kört allt och då kommer inget gratis. Nu krävs det smarta idéer för att nå längre. Dessa kommer inte i lagom takt utan det kommer stå still ibland, sen kommer ett hopp osv.

nVidia går in och räddar CoreWeave

CoreWeave är alltså kanske de bolaget inom AI som går bäst, ändå måste de har in pengar.. CoreWeave gör produkter baserat på AI.

Det har inte peakat. Vi ska fortfarande få AGI.