När når vi AGI?

Mass-uppsägning på Meta, dom nämner direkt att det ska kompensera för "effektiviseringar" som har med AI att göra och det finns ljudinspelning från möte där Zuck pratar om hur alla anställdas datoraktivitet ska övervakas för att träna deras AI ersättare.
https://www.businessinsider.com/read-meta-layoff-email-employees-2026-5- -https://x.com/MorePerfectUS/status/2056842597117636890 Ukraina ligger i bräschen för AI vapen. Jag misstänker att Kina är längre fram men dom har inget aktivt krig där dom kan prova och som tvingar dom att röra sig snabbt. https://archive.is/0MlZP#selection-4835.0-4835.242
Du låter precis som alla andra AI skeptiker genom tiderna, schackspelare, konstnärer, översättare. Alla har haft samma invändning, just min lilla grej som jag är jättebra på, den är sådan att bara en människohjärna någonsin kan bemästra den. Skeptikerna har alltid flyttat målstolparna för vad som är äkta AI. Just din specialitet kommer också falla när dom får tillräckligt med träningsdata. Och dom där mystiska texterna/URL källorna som jag postar förstår jag måste vara förvirrande för dig, bäst att du inte läser dom.
Rimliga invändningar, en enstaka LLM instans, särskilt gratisversionerna som vi kan chatta med, är inte mycket att hänga i granen. Men det är när dom kedjas samman i komplicerade arkitekturer med tillgång till olika verktyg, olika modeller, kod-databaser, snart säkert kameror och robotkroppar och minnesbanker, där händer det saker. När dom på allvar börjar självmodifiera sig kommer dom kunna hitta svaghet efter svaghet och patcha den, om du har sett hur snabbt dom kodar i realtid eller skriver samma dokument så kan du tänka dig vad som händer när detta tar fart på allvar i ett gigantiskt datacenter. T.ex. Poetiq
https://poetiq.ai/posts/recursive_self_improvement_coding/

Vi har jävlar ingen AGI, var är den?

https://www.di.se/live/zuckerberg-alla-far-behalla-jobbet-i-ar/

Facebook-ägaren Meta Platforms vd Mark Zuckerberg uppgav i ett internt memo på onsdagen att han inte räknar med några fler företagsomfattande uppsägningar under året. Det rapporterar Reuters.

Ser ju inte ut som några massuppsägningar.

Jag var för länge sedan ca 1981 på ett möte med Ken Thompson (https://en.wikipedia.org/wiki/Ken_Thompson) som gjorde schackprogram på Bell labs.
Han hade då räknat ut med vilken datorkraft som behövdes för att slå världsmästaren. Då baserat på rating. Men de algoritmer som då fanns. Det låg en bit bort. Så shackspelare förstod mycket väl att det DÅ inte var någon fara på taket. Att då avfärda schackdatorer var ju helt korrekt.
Man måste ha klart för sig vilken fråga det är som ställs och vilken som svaras på.

Det kan vara helt fel att avfärda dessa som skeptiker eller förnekare.

Kommer bli en silent takeover. Vi förlitar oss mer och mer på AI utan att förstå att det har tagit över. Den kommer in i fler skikt och processer i samhället. Kan bli bra... ..kan bli riktigt dåligt. Många tänker mest på att tjäna pengar. inga guardrails.

Ja, det kommer att bli en förbättring då, men vi är ju inte där ännu. Det är väl det som vi diskuterar?

Men även där kommer det att kräva väldigt exakta prompter för att det ska ske något, tills det att vi kommer till läget (om vi nu någonsin kommer dit) att man inte behöver det. Att nästa flera databaser gör det ju inte mer intelligent för det. Jag skulle nog nästan gå så långt som att säga att AI inte överhuvudtaget är intelligent ännu utan bara är bra på att ge rätt svar baserat på en massa andra bra rätt svar.

Det är ju därför träningsdatan är så viktig. Skulle man i dagsläget kunna flooda en LLM med en massa svar på att 2+2 = 5 så är det också det svaret den skulle ge om någon frågade vad 2+2 är. En normaltfuntad människa kommer att säga att svaret är 4 oavsett om en miljon andra försöker gaslighta dom till att det är något annat

Ja, antagligen behövs något test, men vet inte riktigt hur det ska se ut. Att t.ex. ta ett standardiserat IQ test säger inget om resultatet baserar sig på att en maskin lärt sig frågor och svar till en miljon andra IQ test. Resultatet är ju redan tvivelaktigt för människor då det absolut går att lära sig att bli bättre på IQ test.

Då blir kärnfrågan vad man egentligen anser intelligens (eller smarthet) vara och om det är en medfödd egenskap eller något som kan variera.


Absolut. Men det du beskriver handlar ju sen om att vi utvecklat tal- och skrivspråk, och i senare skede framförallt en vetenskaplig metod. Den stora skillnaden är ju att om du skulle skapa två parallella världar, en med bara AI och en med människor, och radera all tidigare kunskap så skulle världen med människor befinna sig ungefär där vi är i dag efter ett par hundra tusen år eller så, och dagens AI skulle inte ha utvecklats överhuvudtaget.



Om man anser det motsatta är det också tyckande. Att prata om något som inte existerar och inte ens är på horisonten för tillfället som något som "kommer inom X tid" är inte annat än ett säljknep. Vi är också ständigt 10 år borta från fusionskraft och jordens undergång pga katastrofala klimatförändringar, och har varit så i decennier. Så länge ingen av dom berättar hur detta kan uppnås så är det förstås bara rent skitprat. LLM kommer som sagt inte att vara lösningen på AGI, och jag har åtminstone personligen inte sett annat än några test med riktiga neurala nätverk som skulle tyda på att vi ens är i rätt riktning.



Som jag var inne på ovan så är dagens definition på IQ absolut något som kan ökas genom att skolas på det. Ta en människa och sätt dom på en kurs hur IQ-test fungerar och om de varit på den lägre sidan av skalan så kommer en stor del att få ett bättre resultat efteråt. Betyder det att dom blivit mer intelligenta? Nej.



Nej, så är det inte idag. Folk ställer frågor och får ett svar som någon annan människa redan har svarat på. En glorifierad google-sökning som ger ett personaliserat svar. Frågar du t.ex. "hur bygger jag en fungerande rymdfarkost som kan transportera människor i ljusets hastighet" så kommer inte LLM att kunna svara på det, eftersom det inte finns någon människa som kunnat svara på det heller.

Dina inlägg är intressanta men jag var ärligt nyfiken på dina svar på mina frågor, men fick inga. Så jag är lite besviken.

Svar på dina frågor: Min uppfattning är att risken för en AI-takeover-dystopi varken är 0 % eller 100 %. Om det inte inträffar beror det sannolikt på att vi lyckats kontrollera AI-utvecklingen så att den inte blir en fri evolutionär process, utan snarare en strikt kontrollerad “avel” av AI mot en given målfunktion: human alignment.

Detta kan vara möjligt om vi hindrar de mest avancerade AI-systemen från att okontrollerat - utan mänskligt godkännande:
* ändra sina egna systeminstruktioner och preferenser,
* generera och använda modifierad träningsdata åt sig själva,
* eller förändra sin egen arkitektur.

Att hindra detta är endast möjligt med AI-verktyg som automatiskt övervakar AI-utvecklingen, och som har nästan lika hög prestanda som den AI den ska bevaka.

Min uppfattning är att vi håller på att förbereda ett slags rysk roulette med vår framtid, där vi mycket långsamt trycker hårdare på avtryckaren. Den dag vi passerar point of no return och tillåter AI att autonomt förbättra och förändra sig självt, kan vara den dag avtryckaren slutligen passerar skottögonblicket. Problemet är att vi inte vet exakt var den gränsen går — eller hur många kulor som faktiskt ligger i trumman.

Man kan jämföra risken för AI takeover med risken för, kärnvapenkrig, att människor orsakar pandemier, och för civilisationell kollaps. Eller för att vi inte lyckas bromsa co2-utsläppen och hindra de värsta klimatscenarierna, och undvika att stora delar av jorden blir obeboelig. Man kan rationellt argumentera: Om vi inte tror på mänsklighetens förmåga att hantera risker så är risken för denna typ av mänskligt orsakad undergång 100% efter tillräckligt lång tid. Men vi saknar empirisk data för sannolikhetern för dessa scenarier.

Varför skulle risken för AI takeover vara större än riskerna för dessa scenarier? Dock har vi inte lika omfattande säkerhetsarbete och lagstiftning vad jag vet mot AI takeover som mot övriga riskscenarier. Ännu.

Alltså vi kan väl lura dom som just nu, men så fort dom börjar självförbättra sig med tillgång till egna sensorer så misstänker jag att den möjligheten kommer försvinna snabbt. Här löste deras stokastiska papegoja ett gammalt välkänt problem. Det var inte en modell som var specialiserad på matematik utan en generell modell. Själva arkitekturen för dagens modeller är matematik, snart kommer dom börja hitta saker vi inte vet om, implementera det i sandbox och köra det, kasta det som inte fungerar och behålla det som är bra. Att flyga verkade omöjligt tills någon listade ut aerodynamikens ekvationer och implementerade det, det måste ju finnas ekvationer och formler som beskriver Kognition.
https://cryptobriefing.com/openai-solves-unit-distance-problem/

Det finns ingenting som liknar "strikt kontrollerad avel" med dagens teknik. Vad får dig att tro att det skulle uppstå helt plötsligt? Det ser ut som att du utgår från ett önsketänkande och inte från faktisk teknik och kunskap.

Det räcker troligen inte men det spelar nog ingen roll. Det kommer inte att bli så. Det finns ingen myndighet som kontrollerar detta effektivt och det är slut på träningsdata. Det enda sättet att bygga mer avancerad AI är att träna den med AI och med AI-genererad content. Man kan aldrig träna en smart AI enbart med texter som har korrekturlästs av en mänsklig kommission. Dels för att den inte finns och dels för att det tar för lång tid att godkänna den mängd träningsdata som krävs. Du lever i en fantasi om du tror detta.
Se där. Nu blev du mer realistisk. Det är väl bra att du överväger olika sidor av myntet men du viktar lite märkligt ibland mot det positiva, med obefintliga eller i bästa fall dåliga argument.
Nej, det är inte jämförbart. Kärnvapen är strikt kontrollerade och ingen vill använda kärnvapen eftersom de inte vill bli besvarade med kärnvapen. För avancerad AI gäller raka motsatsen. AI är inte strikt kontrollerad och alla vill använda den till allt möjligt hela tiden. Jämförelsen är helt absurd.

Och den typen av argumentation har man när man inte vet, du förstår inte vad vi pratar om

Då går man på känslor och det blir lätt "men nu låter du negativ".
AI är ett verktyg som underlättar absolut men det kan inte göra allt och eftersom jag vet väl hur tekniken fungerar så kommer det aldrig att klara göra allt.

Det kan självklart komma annan ny teknik i framtiden men som AI fungerar idag så vi maxat.

Vad jag tror de stora IT jättarna har ganska stora problem med är att AI är ett otroligt bra verktyg för de som kan utveckla, kan skriva kod men att det INTE klarar att helt automatisera.
Varför de har så stora problem med detta är att små företag kan producera saker som de själva inte kan, några få duktiga utvecklare klarar att producera en hel del som jättarna har svårt att fixa.

Ett IQ test kan mycket väl vara det testet som skall avgöra.

Lämpligen använder man då ett test som är nytt.

Nja, psykologerna menar att man inte blir bättre på att träna sig på test. Sedan finns svårigheten att träningsdata skall ge rätt svar. Och hur ordnar fram ett sådant träningsdata. Sedan finns inte en miljon test. Det är en massa pyssel med testen de skall t ex normeras. Det begränsar totala mängden tester, ganska ordentligt.


Ja, det är en avgörande fråga för AGI. Men vi talar om, som jag tolkar det och som nämnts i tråden, en genomsnittlig intelligens. Dvs någon som är mindre smart än t ex Mona Sahlin.

AGI skulle innebära att vi kan kopiera upp tusentals Mona Sahlin i datacenter som skall göra vad för något? Och vad skall nu detta leda till?
Bättre än så är inte AGI. Folk verkar tro att AGI är någon fantastiskt.


Exemplet blir lite bisarrt genom att vi i exemplet inte skall ha teknologin som används.

Men AI kan definitivt lära sig. Trivialt exempel: Ett NN kan lära sig spela det gamla atari-spelet break-out utan någon hjälp. Och blir efter ett tag bättre än människor.

Reinforcement learning gör ungefär som människor. Dvs provar sig fram och kommer ihåg de mest framgångsrika försöken.


Tyckande är tyckande oavsett vad man tycker. Sådant är för min del helt ointressant. Jag vill se resonemangen.


Fast där har du bara bestämt att vi inte är framme eller nästan framme.
Och det har du bestämt utan att ens ha en metod för att avgöra.

Nog får du väl hålla med om att du bara ägnar dig åt substanslöst tyckande.


DÅ har du inte sett hur pass bra AI är på att lära sig. (Via trial and error).
https://www.google.com/search?q=ai+learning+hide+and+seek&sca_esv=4df93d9 9aa26f0c3&rlz=1C1FKPE_enSE1090SE1090&udm=7&biw=141 0&bih=1060&sxsrf=ANbL-n6B1F5paTPrSrRZavTBgdIB5sxQnQ%3A1779364926994&ei=P vQOapyxPOy9wPAPhY3RgQY&ved=0ahUKEwicyJjzqsqUAxXsHh AIHYVGNGAQ4dUDCBI&uact=5&oq=ai+learning+hide+and+s eek&gs_lp=EhZnd3Mtd2l6LW1vZGVsZXNzLXZpZGVvIhlhaSBs ZWFybmluZyBoaWRlIGFuZCBzZWVrMgYQABgWGB4yBRAAGO8FMg UQAB jvBTIFEAAY7wVIiitQ3wNY2SJwAXgAkAEAmAFgoAGKCaoBAjE0 uAEDyAEA-AEBmAIPoAKqCcICChAAGIAEGIoFGEPCAggQABiABB jLAcICBRAAGIAEwgIGEAAYBxgemAMAiAYBkgcCMTWgB-Q0sgcCMTS4B6cJwgcEMS4xNMgHFYAIAQ&sclient=gws-wiz-modeless-video#fpstate=ive&vld=cid:15f84032,vid:Lu56xVlZ40M ,st:0
Här är två team som kör "hide and seek". Först lär sig blå team att blockera öppningarna. Sedan lär sig rött team att använda en ramp för att ta sig över väggen.

Ingen lär dom något. Ingen träning. Dom får lista ut allt själva.


Psykologerna säger att man inte kan bli bättre genom att träna på IQ-test. Någon menar att man kanske kan förbättra 1 poäng.
Om du menar att dom har fel så undrar jag hur du kommit fram till det?


Folk frågar ett AI-verktyg och får svar på sådant dom inte vet eller kan räkna ut. Ungefär som man förr frågade andra människor man trodde var mer kunniga/smarta. Dock är AI-verktygen mer pålästa.

Exempelfrågan är svårt intetsägande. Ingen kunde ju svara på det.


Sedan är inte kunskap detsamma som intelligens. Däremot finns evidens som visar att IQ hos människor ökar med fler år i skolan.
Så att exponera sig för kunskap och resonemang stärker den förmåga vi kalla intelligens.

(Att man i Finland stängde skolorna under corona leder till ett IQ-tapp hos finländare som påverkar i säg 60 år. Och det leder till tappad BNP på ganska så många mdr över dessa 60 år).