När når vi AGI?

Artikeln och påståendet som Epistemologen ger här handlar inte om AlphaGo som är nedstängt/avstängt sedan massor med år, utan KataGo som är en open source AI som baseras på samma tekniker som AlphaGo och också mängder med förbättringar, men eftersom dessa inte möt varandra så är det svårt att säga hur mycket bättre KataGo skulle vara än AlphaGo, däremot så kan KataGo mätas mot AlphaZero som är den produktifierade versionen av AlphaGo (och enligt Google vann 60 av 100 spel mot AlphaGo) och där är KataGo betydligt starkare, faktiskt ännu den starkaste Go AIn som människan någonsin haft med en ELO över 5200.

Du kan läsa om attacken här, https://arxiv.org/abs/2211.00241

Du kan även läsa om den mer uppdaterade sidan här, där även forskarna demonstrerat samma attack på transformer baserade Go system också, samtliga faller för den och har inte kunnat lösas.

https://goattack.far.ai/

Men jag förstår inte varför du ens drar upp AlphaGo till att börja med, när det sagts om och om och om igen att alla dessa välkända AIs är helt orelaterade till "LLM-Transformers" (som du kallar dom) eller språkmodeller som resten av världen kallar den typ av AI som avhandlas när det gäller ChatGPT, Claude, Grok, LLama osv.

Precis alla kända starka AIs som AlphaGo, AlphaFold, osv är MCTS algoritmer, det har väldigt väldigt lite med artificiella neurala nätverk att göra i sig, utan precis vad jag skrivit i flera poster det är algoritmer som utnyttjar just det datorer är bra på, att vara snabba så de kan generera en massa alternativ och söka sig fram till svaret.

Sen "att det var bara 8 år sedan... blah blah AI har kommit långt", vad är det du förväntar dig? Allt har avancerat sedan 8 år sedan, du sitter med en mobiltelefon som springer cirklar runt vad mobiltelefoner gjorde för 8 år sedan i stort sett alla avseenden, snabbare, större skärm, bättre kamera osv osv.

Allt som aktivt utvecklas avancerar, AI har inte utvecklats nämnvärt snabbare än något annat, man har kunnat utföra en del saker som man känt till länge i realtid tack vare snabbare processorer osv och det betyder inte att allt som heter AI är oanvändbart eller värdelöst, det finns massvis med saker som vi inte kan göra med något annat än "AI baserad teknik" (det är en så fruktansvärt dum term för den delen eftersom det representerar i stort sett all form av automation), men det betyder inte att vi kommit närmare att ha AIs som tänker själva, det finns inget sådant och det är helt omöjligt att det skulle kunna uppstå med den arkitektur som ens används idag.

Och jag är så fruktansvärt trött på alla jämförelser med mänskliga hjärnan osv som oftast påvisas från media, för ANNs fungerar inte som mänskliga neuroner, återigen ANNs är baserade på en 1930-tals tolkning av man trodde nervceller i näthinnan fungerade. Precis som om ett par färgblinda aliens skulle titta med teleskop på en bilfabrik från rymden och de ser att lastbilar med material kör dit och ut kommer bilar, sedan gör de en "artificiell bilfabrik" som från samma avstånd ser ut att bete sig snarlikt, men i själva verket har man inte förstått något av varför bilar i bland kom ut röda, blå, gula. varför det inte kom ut några bilar alls runt högtider, man noterade inte alls alla arbetare som gick in och ut vid olika tidpunkter osv. En riktig fabrik om man observerar den en längre tid kanske helt plötsligt börjar producera motorcyklar, spadar eller jordfräsar i stället, medans aliens förståelse så är den fixerad att göra precis vad de uppfattade att den gjorde just då. De är inte ett dugg närmare att befolka en planet med detta, precis som vi inte är ett dugg närmare att skapa konstgjord riktig intelligens idag än vi var då, eller närmare är vi väl på det sättet att vi har testat tusentals sätt som inte fungerar... men vi har inte kommit på ett enda lovande sätt som fungerar så i det hänseendet är vi inte närmare.

Sen går det göra massvis med intressanta saker med dagens AI teknik som vi inte kan på matcha på ett effektivt sätt med andra tekniker, så som olika former av filter (för att tex tvätta bort brus från olika datakällor, isolera enskilda röster/instrument osv, förändra och skifta om frekvenser dynamiskt osv) men det är inget magiskt med detta, annat än effekten i sig och det går flera av dessa saker med helt andra tekniker som traditionellt inte kallas "AI" också (och har till viss del gjorts tidigare), men det man vill åt i samtliga av dessa fall är funktionsapproximering och där finns det inget som är så "enkelt" att använda som ANNs. (dvs jämförelsen med aliens tidigare, har vi en insignal så kan vi "spela in" hur utsignalen ska se ut, i stället för att vi människor försöker komma underfund med hur funktionen faktiskt fungerar- som hade varit den lösning som gav i särklass bäst resultat, men är väldigt tidskrävande och astronomiskt svår i vissa situationer)

Det jag inte köper alls är just påståenden om AGI, medvetande osv och speciellt inte med de byggstenar vi har idag. För det enda alternativet hade varit om något labb någonstans höll något väldigt hemligt, men med tanke på att AI är ett av de öppnaste forskningsområden just pga att det kräver sådana enorma datorsystem (och speciellt förr) för att köra sina teser och resultat så har det legat i allas intressen att bespara kostnader och dela med sig av upptäckter och resultat, oavsett de är positiva eller negativa.

Det är extremt sannolikt att Altmans topingenjörer vet mer om när de kan vara klara med AGI än att någon löjlig besserwisser på Flashback vet bättre. Troligen har vi AGI 2025-2026. En del skeptiker har hävdat att Open AI bara ljuger i reklamen. Men det är inte en logisk slutsats. Många är oroliga över AGI och det är inte alls kommersiellt gångbart att skryta om AGI. Speciellt inte när man samtidigt inte kan skryta om någon form av hållbar AI-säkerhet.

Om vi har äkta AGI, eller närmare bestämt äkta AI, så torde vi ha singularitet kort därefter, inte sant? Teoretiskt inom sekunder, minuter, timmar, eller dagar, efteråt, men realistiskt (och praktiskt) månader, eller snarare, år.

Det beror väl på hur OpenAI valt att definiera "AGI", för tillfället. Lyckas de skapa "Operator" som, inte, presterar märkbart, sämre, för varje efterdöljande uppgift i en radda och kommer upp med en kraftigt förbättrad minnesfunktion, så är det möjligt att de utropar "AGI" i slutet av nästa år.

Men enligt min egen definition, som dessutom skulle kunna innebära att AGI också innebär en balanserad existens och inte något potentiellt "logiskt monster/Chollet-maskin", så lär det ta några år till. Fast OpenAI skulle nog kalla detta ett ASI, vilket inte vore helt fel, givet den nivå och mycket breda kapacitet en sådan potentiell existens skulle ha.

Ja, jag vet: Skeptiker skrattar åt mig och du tycker jag är "naiv" och/eller "sticker huvudet i sanden". Hur som helst: En "Chollet-maskin" , på den nivå den kan ha om något år, lär inte ta över jorden och utrota oss. Och vad gäller mig själv: Skulle jag ha fel, så är inte det hela världen, men skulle jag få rätt så, är, det hela världen.

3d korten som nvidia utvecklar har mer eller mindre stått still i 10 år. Det blir bara större och större och varmare och varmare och drar mer ström.

värsting 3d kortet har gått från att kosta 5k till 30k.

Om dom skall skala upp det här kräver det enorma summor och sjuka mängder ström.

Nog har 3d korten blivit snabbare och effektivare men det stämmer också som du säger att nyare kort är väldigt energi-törstiga, jag har själv ett rtx-4090 för mina egna projekt och det var inte bara halva datorns kostnad, det är sjukt strömslukande.
Men det är klart effektivare än grafikkorten var för bara några år sedan.

Men det som kanske inte många förstår är den fruktansvärda mängd energi som går åt när man tränar språkmodeller, det är miljontals dollar även för de ”soppiga” modeller vi har idag.

Liksom det här borde ge en insikt i hur jävla korkad arkitekturen vi idag har egentligen är när inte slutresultatet är bättre än det faktiskt är, https://youtube.com/shorts/qSn8dVI9V5I

(Och bara för att vara super tydlig; han säger föreställ dig att du kan utföra en miljard additioner och multiplikationer per sekund, något inte en endaste människa idag ens i närheten uppnår totalt på en livstid)

För att lägga till lite ytterligare info om effektiviteten.

Tex RTX-4090 är ca 2.5ggr effektivare än föregångaren RTX-3090, men för samma kostnad som ett RTX-4090 kan du köpa nästan 3 RTX-3090 (speciellt begagnat) men tyvärr når du ändå inte samma effektivitet eftersom konsument korten inte stödjer NVLink som krävs för att flytta data mellan korten tillräckligt snabbt, dessutom är du med en sådan setup långt över RTX-4090 i energikostnad. Men i bland önskar jag sådant gick eftersom det finns en heldel begagnade grafikkort både för konsumenter och gamla server kort som annars hade varit fullt dugliga. Men för träning är just nu nästa steg A100 och då pratar man om minst ca 100000 och det är liiiite mycket för privatprojekt.
Hade det gått länka vettigt hade jag annars inte tvekar köpa en massa begagnade P40 eller dyl.

För ren inferens (alltså använda en färdig tränad modell) däremot går det hur bra som helst att köra utan NVlink, samtidigt så är det nästan bättre köpa en ny Mac med skapligt med minne om det är vad man vill göra.

Vadå inte kommersiellt gångbart att skryta om AGI?
Investerare slänger gärna sina pengar på den första spelaren det verkar sannolikt kommer att uppnå AGI. En jävla massa pengar. Att hålla investerare heta på gröten är grymt bra för kassaflödet.

Enligt ChatGPT mellan 2030 och 2050.

Jag ogillar Sam Altman. Killen är en säljare. Han är hal och har ingen teknisk kompetens.

Att ChatGPT som inte ens kan klockan skulle uppnå AGI inom några år är så klart trams.

Frågan är väl egentligen om riktlinjen är bättre än alla människor eller bättre än den genomsnittliga människan. För om det handlar om den genomsnittliga människan så kan dessa inte heller resonera något särskilt utan apar bara efter vad andra redan listade ut för längesedan som bäst.

Tack för ett välskrivet och nyanserat inlägg. Jag har själv jobbat från ch till med just neurala nätverk sedan 2003, långt innan nästan någon utanför en liten, nischad sfär visste vad det var, och kanske till och med innan många av de unga, nyfrälsta anhängarna ens var födda. Jag är av samma uppfattning som du är - vi kommer inte se någon motsvarighet till mänsklig intelligens under de närmaste, säg, 100 åren. Däremot användbara AI-verktyg i varierande grad.

Detta är svårt att föra en sansad diskussion kring, eftersom man hela tiden möts av inlägg likt ovan; "de på OpenAI säger att det kommer komma och vad vet någon skribent på Flashback", och så vidare. Detta är givetvis ett argumentationsfel (https://en.wikipedia.org/wiki/Argument_from_authority) men vad gör det för skillnad. De vill så gärna tro att frälsningen är runt hörnet. "It's easier to fool people than to convince them they have been fooled" är ett citat jag gillar.

Jag tror att Open AI och andra har sagt att då dröjer det max 1000 dagar till ASI men jag tror några månader.

Är det inte "hela världen" om vi blir utrotade?
Varför tror du att det logiska monstret kommer att vara helt ofarligt?
Det ska ju ta fler år att utveckla en snäll AGI, då borde vi ha en likgiltig AGI tidigare, om 1-2 år.
Ja, det verkar som att du stoppar huvudet i sanden eftersom du vill hoppa fram flera år direkt och du bortser gärna från alla negativa effekter som kan uppstå 2025-26.