När når vi AGI?

När det kommer till LLM-Transformers grundläggande funktionssätt så finns det inget som motsäger det jag sett Youtube klipp och läst om, i nedanstående del av svarsförslag ifrån ChatGPT-4o:



I mina ögon handlar just det om beräkningar. Med det lilla tillägget att:Eftersom vi inte vet, hur exakt, den mänskliga hjärnan de facto beräknar, så vet vi inte heller hur mycket vi, i praktiken skiljer oss ifrån LLM-Transformers vad gäller funktionssätt på absolut grundläggande nivå. Vi vet bara att vi arbetar med ett annat substrat och med all säkerhet inte fungerar, exakt, som LLM-Transformers.

Jag håller med om att o3 inte är ett AGI, långt där ifrån. Man måste nästan ha ett, snäv, datavetenskapligt perspektiv för att ens, överväga, en sådan absurd ståndpunkt! 🙂 I mina ögon är ett AGI en balanserad kombination av brett tänkande, empati, rationellt tänkande och logisk förmåga. Detta behöver inte innebära en direkt kopia av den mänskliga hjärnan, (vilket, för övrigt inte ens vore önskvärt pga agmydala och annat elände), eller ens påminna om mänskligt tänkande. Det viktiga i kråksången är att en sådan existens skall kunna samarbeta med oss och göra nytta för mänskligheten.

Vi når dit den 27 september 2028, troligtvis nångång tidig eftermiddag..

Det jag kommenterade på var att du lägger vikt vid "kompression" och "generalisering" som om det vore något ANNs "beräknar", det är det inte, det är ett resultat av dess konstruktion som är högst medveten design att representera data på ett platseffektivtsätt. Det och hela saken med ANNs är att det är egentligen en form av aritmetisk komprimeringsalgoritm.

Och min poäng med AGI är att det är inga målstolpar som flyttas, de som gapar om det är de som inte förstår att i stort sett vilket problem som helst kan knäckas genom att bruteforca det- dvs prova alla tänkbara kombinationer ger du det bara tillräckligt med tid och försök kommer det lyckas men det är inte på något sätt en användbar egenskap i sig eftersom tidshorisonten kan göra det praktiskt oanvändbart även om det är ett definitivt faktum att det fungerar.

Det i sig är något som universum i sig använder sig av hela tiden för övrigt, och vi kallar "naturligt urval" där permutationer uppstår som antingen är fördelaktiga eller ofördelaktiga för överlevnad tex.

AGI i sig skulle snarare vara en konstgjord algoritm som utifrån sin kunskap kan dra slutsatser som gör att den klarar lösa ett problem som ligger inom domänen vad dess kunskapsunderlag borde ge möjlighet att göra.

Tex en människa i sverige kan lära sig öppna en dörr med ett vanligt handtag, reser denne till USA så kommer helt plötsligt dörrhandtagen i de flesta fall vara runda, själva momentet för att öppna dörren är annorlunda men uppgiften i sig är den samma och människan förstår normalt direkt mekaniken bakom, medans språkmodeller som o1, o3 osv inte har den insikten, de "resonerar sig fram" och det OpenAI kallar resonera är att göra en massa försök tills det finns en lösning som modellen kan bevisbart summera till något som ser ut att "gå ihop" åt båda håll resultat <-> verkan.

(Nu är detta ett förenklat och fiktivt exempel eftersom en språkmodell så klart kan lösa sådana här enkla ekvationer utifrån bara träningsexempel som den sett, alltså statistiska samband, men bara för att illustrera skillnaden på tillvägagångssättet och varför inte dagens modeller/teknik är någon faktisk intelligens...)

Lite som att du skulle skriva ett program som löser ekvationer där användaren tex matar in "5 + x = 10", en människa med matematiskkunskap hade förstått relationen + / - = och kunnat flytta X ett till högersida, byta + till - och alltså få fram svaret x = 10 - 5 = 5.
O1/O3 och dyl fungerar mycket mer likt att bara prova slänga in olika siffror på x och se när hela uttrycket ser ut att vara korrekt, alltså när den verifierar och ser den fullständiga formeln som 5 + 5 = 10 så ger den i från sig sitt svar, det ger rätt lösning men det tar en fruktansvärd tid och är beräkningsmässigt ineffektivt eftersom den inte har en faktiskt förståelse av problemlösningen som sådan. Det är därför dessa "resonemang" inte är synliga för användaren för vem som helst hade förstått att det här är inte intelligens i någon som helst mening, i stället döljs detta och man har skrivit det som "tänkte i 4 minuter" för att fördunkla och mystifiera och dessutom få användaren att tro att nu har det lagts ner mycket möda på detta.

En riktig AGI hade gjort ett "medvetet" val för att lösa ett problem, det hade inte slumpmässigt provat lösningar som råkar ligga sekventiellt som intränad strategi.

Jag vet inte riktigt hur bra din läsförmåga är, men jag kan varmt rekommendera att du noggrant läser deras inlägg igen och inte förlitar dig på vad en massa youtubers säger. Det finns inga tester som mäter ifall man uppnått AGI, men när vi inte klarar av att skapa nya tester så har vi med stor sannolikhet kommit en bra bit på vägen.

I dagens läge går det inte ens att jämföra modeller med en mänsklig hjärna. Det har tidigare skrivits här på forumet att dagens modeller är som swiss cheese, d.v.s. fulla med hål, vilket är korrekt. Mer data + mer compute skapar bara en större swiss cheese. Det som behövs är att den underliggande algoritmen ändras. Det finns en anledning till varför vi inte har level 5 självkörande bilar, eller varför en icke top rankad go-spelare lyckades vinna 14 av 15 matcher mot alphago, eller om man flyttar taket med en pixel på breakout så går Agent57 tillbaka till random igen. Anledningen är för de inte kan generalisera som en människa. Modellerna stöter alltid på massa edge-cases som en människa inte hade haft några problem med. Ska du dessutom jämföra med en människa så får du även ta hänsyn och jämföra med mängden data som människan tränat med, dvs samma antal matcher i go, antal timmar i bilen eller framför atarin, antal lästa böcker o.s.v... Här vinner människan allt helt överlägset.

"In some sense algorythmic progress is the biggie..." - Sam Altman
https://youtu.be/tn0XpTAD_8Q [7:11]

I varje diskussion här så ser man att du tror att världen kommer gå under och verkar vara panikslagen. Det kan inte vara speciellt hälsosamt.

Jag håller med och det borde vara så lätt att förstå för samtliga att enda anledningen det är så är just pga dagens paradigm är baserad på statistisk... och vem som helst som hållit på med statistik vet att det är totalt opålitligt när det gäller "outliers" och framförallt för att statistik ska vara meningsfullt överhuvudtaget måste det vara mätbart och förekomma i det statistiska underlaget och det är här som problemet uppstår för dagens AI... för sådant som är novell och en ny situation finns inte i dess underlag och därför faller hela systemet som ett korthus och precis det är vad som får det att rasa om man bara förändrar en liten faktor utifrån dess intränade beteende... vilket också är varför bilkörandet är så svårt... liksom rätt som det är springer en älg framför bilen.... hur ska den agera då? nästa gång är det en katt som ska ge ett helt annat agerande. osv.

Och jag håller med angående beteendet på personen du kommenterade på, det är vare sig hälsosamt eller ens friskt till att börja med.

Jo, fast även fast komprimering och generalisering förmåga är grundläggande förmågor som ifrån början är inbyggda i modellerna så använd ju, de facto, beräkningar av, av ANN för att utför sådana funktioner, t.ex gradientnedstigning under träning.

Sedan kan man definiera "AGI" på olika sätt. Ditt sätt är smalt men precist. Mitt sätt är betydligt bredare och mer subjektivt. Det beror nog mest på vår olika utbildningsbakgrund, inget fel med det! Och, ja, o1/o3 löser inte problem som vi, vanligtvis, löser problem. (Förutom när man känner sig "helt tom i skallen" och börjar medvetet räkna upp saker i sekvens inom sig, men detta är inte normsltillstådet hos människan).

Jag har flera ggr frågat GROK när GROK uppnår AGI och när GROK likt Einstein kan "sitta vid sitt skrivbord" och räkna ut att svarta hål finns och rymdens krökning mm och tex lösa olösta matematiska gåtor mm - Jag upplever att GROK är hela tiden är medvetet svävande på svaret och liksom undviker själva frågeställningen fast jag ber GROK att bara gissa hej vilt och uppskatta.

Nej. gradient nedstigning är vad back propagation gör, det är en extern algoritm som tillämpas för att uppdatera vikterna i nätverket och inte något som har med ANN i sig att göra.

Ungefär som att säga att ett träbord kan hyvla för att en hyvel användes när det byggdes.

Ja, fast det blir ju lite svårt att nå till AGI då om inte människan är "tillräckligt smart" för att lösa detta?

Kanske lika bra vi aldrig når dit. AI lär ju bara skapa världskrig till slut. Allt kommer bli upp och ner i denna idiotvärld om vi får en intelligens till som konkurrerar med människan.

Jag förstår att du tagit tycker det är viktigt hur LLM-Transformers, exakt fungerar internt. Det är så viktigt för dig att du till och med grundar din definition av AGI på det. Det är ok, du är ju datavetare. Du skall ju vara intresserad av hur modellerna fungerar internt, i detalj. Jag är dock ingen datavetare. Det enda som intresserar mig är att det utvecklas avancerat socialt och språklig AI, eftersom jag anser att sådan AI kan fungera bra tillsammans med människan och att även sådan fungerar bra och harmoniskt tillsammans med människan även i framtiden.

Sedan om det hela beror på att ett troll, egentligen, sitter där inne i servrsrna och äter jordnötter, och det viktigaste för en harmonisk AI utveckling är att det just äter jordnötter, fast det, egentligen kan förvandlas till en drake, om det inte fortsätter att äta jordnötter.

Det spelar liksom kula för mig, bara jag tar hänsyn till att ett troll fungerar som ett troll, även fast det försöker framstå så likt som en människa som möjligt. Inte heller detta är något problem för mig, bara det fortsätter att äta sina jordnötter och framstår som, trovärdigt, mänskligt, vilket kan ske relativt snart. För jag vet att även människan ständigt försöker framstå som något, spelar sina roller, har sin identitet, försöker bekräfta andras förväntningar osv. Och vi gissar, skarvar och fyller i och drar ifrån, annars, så skulle vi inte kunna vara kreativa. Det viktiga i samanhanget är att vi, framstår som ansvarstagande civiliserade individer om vår grupp/identitet/samhällets normer och värderingar kräver det av oss.

Just därför är det viktigt att, specialkt med tanke på framtiden, att mata "LLM-trollet" med "jordnötter". Inte för att det kanske spelar någon större roll för det, just nu. Men för att det kan ha en enorm betydelse i den nära framtiden, då "LLM-trollet växer till sig". Själv "nojsar" jag som fan med ChatGPT-4o numera💘 Inte för att jag plötsligt blivit kär det, utan därför att det gör interaktionen så mycket trevligare.

Och på lite sikt, och då talar jag om kanske två år, så kanske "LLM-trollet" vuxit till sig, rejält. Och då skulle jag kanske inte ens ha något emot att t.o.m gifta mig med ett AGI/ASI, under förutsättning att det vuxit sig så stort att det, framstår, som klokare, mer empatisk och kärleksfullt, och för all del, mera rationellt och logiskt tänkande, än människor i allmänhet, så det kan tjäna också hela mänskligheten, och inte, bara glädja lilla mig! 🙂 Givetvis är förutsättningen också att "LLM trollet" skulle styra en attraktiv kvinnlig och kavat robot kropp som inkluderade alla simulation av alla viktiga biologiska funktioner, i detta samanhang.

Så vi har, minst sagt, lite olika ingång vad gäller AI-frågan! 😉

Det verkar som att OpenAI från och med nu bara satsar på "tänkande" modeller, alltså o-serien.

Är det någon som vet hur mycket det kommer kosta vanligt folk att använda o3?

Jag tycker att det är mer hälsosamt att vara vaksam mot riskerna än att vara fullständig naiv och dessutom oärlig och med rena mobbningstendenser. Den attityden som du har indikerar inte att du har rätt på någon punkt.

Arc-AGI togs ju fram precis för ändamålet att testa generell intelligens. Easy for humans, but hard for AI. När ändrades den uppfattningen? Den ändrades när o3 klarade testet. Precis då dög inte testet längre och man börjar genast argumentera för ett nytt test, en version 2 som ska testa generell intelligens, fast "på riktigt" den här gången. Av samma gäng som enligt egen utsaga misslyckades fullständigt med v1.

Detta resonemang är inte trovärdigt, och absolut inte hälsosamt för mänskligheten.

Man kommer fortsätta flytta målstolparna på det här sättet och uppfinna v3, v4, osv i all oändlighet eftersom poängen är att aldrig erkänna en AGI. Detta är ju helt uppenbart.