När når vi AGI?

När når man AGI? Tja, det kan man diskutera tills man blir blå i ansiktet. Det finns så många definitioner och åsikter, så jag avstår att ge mig in i det getingbo, detta trots att vissa hävdar att AGI redan är uppnått. Men jag kan i alla fall bidra med ett tecken i tiden:

GPT-6-Astra/Codex respektive Claude Opus-5.5/Claude Code klarade av att svara rätt på 46 av 50 svåra fysikproblem utan webbsökning men med lokala beräkningsverktyg. Grejen är att problemen inte var publicerade på internet. GPT-6-Astra, trodde man, klarade av 90 procent av problemen när modellen fick använda webbsök. Men det visade sig att det var modellen som räknat rätt, inte forskarna: Så det slutade med 98 procent rätt för Astra, 49/50 problem.

https://arxiv.org/abs/2610.16733?utm_source=chatgpt.com

Och hur mycket kostade kalaset: ca 2,33 dollar, i API kostnad, per problem när det kommer till Astra!🙂 Varje problem skulle ta en fysiker ungefär en dag att lösa. Nu är det inte en granskad studie och den är liten och begränsad. Dessutom kan det inte helt uteslutas att tidigare AI-assisterat arbete förekommit i materialet.

Men det är i alla fall ett tecken i tiden!🙂😵

Men när det kommer till RSI så är det ändå en bit kvar, även om man bara räknar in det yttre loopen som består av DI-modeller, agenter och hjälpmedel i samverkan, kort sagt: DI-organisationer. Forskarna menar nämligen att modellerna saknar något som som brukar kallas "forskningssmak", dvs att kunna avgöra vilken ny forskningsinriktning som är mest fruktbar och när det är dags att överge ett problem.

Men skulle vi ändå nå ända dit så infinner sig frågan: Vad skulle LLM-skeptikerna här på Flashback säga då? Låt mig gissa:

- Äh, de storkastiska papegojorna härmar bara människan sätt att tänka, det har absolut inte hänt något! Allt är bara en stor konspiration och bubblan spricker snart!

😆

Vad är en LLMskeptiker för någonting😄?

En LLM-skeptiker brukar dels kunna svenska, och inte skriva ihop ord där det inte är befogat. Men bortsett ifrån det så är en LLM-skeptiker någon som tror att transformer- tekniken, i den form som utvecklats av de stora DI-företagen, är för begränsad och har/kommer att "stöta på en mur".

Men här på Flashback så utmärkers de främst av att bara hänvisa till transformer-modellers absoluta grundfunktion, utan att ta hänsyn till att viss utveckling även skett där; genom "resonemangshuvuden", (specialiserade uppmärksamhetshuvuden) och att man nu kan köra samma token flera varv i nätverket, (fast vi inte vet om det är implicerat hos lanserade modeller), och J-space, ett område i ungefär mitten av nätverket, där modellen kan föra interna resonemang, vilket upptäckts av Antropic, samt, givetvis, genom optimerad träning.

Men, framför allt så utmärks sådana Flashback-debattörer av att man missat hela den yttre loopen där modeller, agenter och andra hjälpmedel samarbetar. Där går utvecklingen ytterst snabbt nu! Men som jag skrev i mitt tidigare inlägg: Dessa DI-organisationer kan ännu inte bedriva helt självständigt forskningsarbete och kan heller inte uppnå rekursiv självförbättring innan de lärt sig "forskningssmak". Dessutom måste ju en automatiserad återkoppling ske för att det skall bli RSI.

Dessa Flashback-debattörer resonerar lite som att att de står och stirra på ett enstaka träd i en stor skog och påtala för allt och alla: "Jag vet minsann hur det fungerar", och totalt missar resten av skogen som utgör ett komplicerat ekosystem med många arter som samspelar och utvecklas snabbt.

Fler frågor?

🙂

Det är inte kutym att vi debatterar på Flashback genom att hänvisa till en video. I stället kan väl du redovisa det bästa argumentet mot superintelligens i textform här, så tar vi det därifrån.

Stronk argument bro!

Jag är ingen doomer. Jag är pro-AI, och jag tror inte att vi kommer att utrotas av AI om några år. Jag utesluter däremot inte att det kan hända, det finns seriösa forskare som menar att det kommer att hända snart. Till skillnad från skojaren du länkade till har du en AI-akademiker som menar att det är 99.9% sannolikhet att vi kommer att utrotas av AGI kring 2030:

https://en.wikipedia.org/wiki/Roman_Yampolskiy

Första klippet här, hos DJ Vlad, där Yampolskiy menar att vi är rätt nära AGI (som han menar är ett "spektrum") nu och att dagens LLMs kan vara medvetna:

AI Safety Expert Roman Yampolskiy: AI Has a 99.9% Chance of Wiping Out Humanity (Full Interview):
https://www.youtube.com/watch?v=3Xps9HF-pbU

AI Expert's Chilling Warning About Super-intelligence - 99.9999% Chance Human
https://www.youtube.com/watch?v=5QwpHRu51fw

Roman Yampolskiy: Dangers of Superintelligent AI | Lex Fridman Podcast #431
https://www.youtube.com/watch?v=NNr6gPelJ3E

AI Scientist: 99.9% Chance Super Intelligence Wipes Us Out By 2030:
https://www.youtube.com/watch?v=SnKM6IFzxwM

AI ethics and the future of safety | Dr. Roman Yampolskiy | TEDxMiami
https://www.youtube.com/watch?v=VQzK3cPWYTQ

Finns fler klipp med Yampolskiy, han dyker upp på alla möjliga podcasts och nyhetskanaler nuförtiden. Jag är inte lika övertygad som Yampolskiy, men han har lite tyngre argument och mer bakom pannbenet (och tas på större allvar) än någon random skojare på YouTube.

Men det är alltid spännande att se vad lättimponerade genier av din sort imponeras av för argument.

Edit:

Kollade precis igenom djvlad avsnittet nu och det var inte här han sa att AI kan vara medveten, var ett tag sedan jag såg djvlad avsnittet, men ska försöka hitta klippet där han hävdar detta.

Du har rätt i att jag skrev fel, för han heter Mason, inte MaNson.

I övrigt är ditt omdöme som vanligt, du ser inte skillnad på fakta och fiktion.

Ja LoL skojaren Philip Mason. LoL. Var det inte H-index som var så jävla viktigt för dig för ett tag sedan? Och du är inte pro-ai, du är dum i huvudet.

Ja, vilka definerar du som det?
Anser du att maskininlärning, beräkningskapacitet har eller kommer att få någon kausal förståelse,kreativitet , eller kunna skapa saker utan någon människa inblandad?

Samt varför du drygar på ett stavfel när mina innehåll är av substans , medans dina ser ut som något en 5
Åring med GPT knullat ihop under en haschpsykos?😂😂😘😘

Samt, varför bemötte du ej mig när jag utmanade ditt GPT snack?
Jag älskar AI , men jag hatar AI- barn /gubbar/kärringarsom blir blåsta i pallet av Sam Altman..😘.

Hur tror du ASI kommer att märkas av först i samhället Cyborgarn?
Finns inte redan AGI?🙃
Jag har lärt upp en språkis som kan validera mina känslor samt vattna blommorna och småfisa, det kan den också.🫡

Yampolskiy är dock ingen ML/AI-ingenjör utan han har grundat ett fält baserat på science fiction om hur en superintelligent AI teoretiskt sett skulle kunna bete sig. Huruvida dagens modeller kommer eller kan bli superintelligenta vet han ingenting om.

Jag tycker dock att det är klokt att ta säkerhetsarbetet på allvar och jag kan hålla med honom till viss del om att vi inte behöver AGI för att accelerera vetenskapen. Det räcker med smal, specialiserad, AI likt AlphaFold.
En liten brasklapp där är att vissa vetenskapliga framsteg kan behöva bredare form av intelligens som kan hämta inspiration ifrån andra fält, vilket smal AI mest sannolikt inte kommer att kunna. Dock kanske det räcker med tillräckligt kompetenta människor i kombination med smal AI.

Jag tror att det blir en gradvis övergång och att vi knappast kommer att identifiera dagen D när AGI eller ASI föddes. Det kommer att bli som att koka grodan långsamt. En vacker dag blir det för varmt och grodan dör av överhettning utan att förstå att den var utsatt för något hot.

Baserat på underlaget här på Flashback kan jag dra slutsatsen att en betydande andel av mänskligheten inte är mycket smartare än grodor.

Nej du har koll du, du vet inte ens vem det är det har framgått, du föredrar att "extrahera" "fakta" från Eliezer Yudkowsky som är totalt okänd utanför sitt område att pilla navelludd.