Vad kan en AI förstå?

Herregud. Jag ska förenkla konversationen för dig så att du hänger med.

Du:

Jag:


Och det är här vi är nu.

Jesus kristus.

Det går alldeles utmärkt att påpeka kända och uppenbara brister med den AI teknik vi har nu för att hävda att just den inte kommer leda till tex AGI (som skulle kräva "äkta intelligens").

Målstolpen är att prestera som en genomsnittlig "normalt fungerande" människa kan göra, den har aldrig flyttats.
Snarare är problemet att vissa dumma element refererar till "uppslagningstester" dvs tex "verbala IQ tester" där ords betydelse ska förklaras/kategoriseras, det är ett general exempel på en sak som du kan lösa med en sökning.

Samma sak med fakta återkallelse, språkmodeller "vet" utan problem mer än någon människa någonsin gjort men det hjälper inte eftersom du måste formulera dig precis korrekt för att det ska träffa rätt "sökväg" och ge ett tillförlitligt svar, du skrev själv i en annan tråd "om du inte får ut något användbart från en språkmodell är det ett 'you problem'", så fungerar inte intelligens, frågar du en mänsklig expert om något och denna känner att frågan var otydlig så frågar den om omständigheter, ytterligare kontext osv, det gör inte en språkmodell den bara rabblar på med vad det nu var som frågeställningen matchade närmast i vektorrymden, som antingen är korrekt eller helt felaktigt, något du inte kan veta om du inte känner till vad det förväntade svaret skulle vara.

Precis samma sak gör det otroligt opålitligt för du kan inte ställa frågor om något du vet (och givet medelpersonen så är det banal allmänkunskap som det finns zillioner exempel av i träningsdatasettet och därför sannolikt ger ett korrekt svar för just dom) och sedan göra antagandet eftersom den svarade rätt på det, så måste den också kunna den här super-svåra-frågan-som-jag-själv-inte-kan, det är just där som språkmodellerna faller som käglor, eftersom en novell fråga inte har massa exempel och därför kan du få vilken jibberish som helst tillbaka och du är oförmögen att verifiera det, de flesta som ställer frågor ställer inte frågor de vet svaret på det är liksom meningslöst.

Och det otäckaste av allt är att oavsett hur fel eller rätt modellen svarar så följer den all grammatik till punkt och pricka och därför ser svaret trovärdigt ut även om det är totalt fel, grammatik är det som modellerna har absolut mest exempel av allt eftersom oavsett ämne så involverar precis all träningsdata detta.

Alltså, vad snackar du om egentligen?

Hur tycker du att man ska mäta intelligens?

IQ-test är säkert inte helt rättvisande men vad jag vet är det vårt bästa alternativ i dag, därför får de gälla tills vidare.

Jag menar absolut inte att IQ-test ger en absolut sanning. Jag tolkar resultaten med en stor nypa salt. Egentligen verkar det som en ganska dålig idé med en sifferskala som föreslår att testet har en hög precision. Jag ser det mer grovhugget att någon kan ha låg, medel, hög eller väldigt hög intelligens. Och att det inte nödvändigtvis är så att en person med 120 är smartare än sin kompis med 110 poäng. Men om någon människa eller en AI får över 130 poäng då kan det rimligen tolkas som åtminstone hög intelligens, i runda slängar. I brist på bättre alternativ.

Men det klart, om man redan har bestämt sig för att aldrig erkänna att en AI kan vara intelligent då blir det väl nödvändigt att såga hela konceptet.

Jag håller med om att en klassisk LLM inte kan bli en AGI. Men de vassaste AI-tjänsterna i dag är inte endast språkmodeller. Resonerande modeller som o3 innehåller fler delar. Exakt vad vet vi inte, det har de inte berättat. Det finns också nyare tekniker som du skrev om. Jag vet inte vad en AGI kommer att innehålla, men förmodligen flera olika delar inkl LLM:s, absolut inte endast en LLM, det har väl ingen trott eller skrivit någonsin.

Open AI säger själva att de tror sig vara nära en AGI kanske redan i år, eller nästa år. Det finns andra som säger samma sak. Jag tror faktiskt inte att alla som säger sådant blåljuger om det.

Den som lever får se.

Problemet är ju att du uttrycker dig i termer som "Hmm ja, kanske inte absolut sanning. Men ganska bra ändå, eller hur? Fett smartare än både dig och mig i vilket fall? Alltså, modellerna är helt sjukt smarta! Du fattar inte!".

Nej, modellerna har ingen intelligens att tala om. Ledsen.

Många tror att AI:n eller LLM:et bara är en stokastisk papegoja, som kan skapa nya meningar enbart utifrån olika ordföljders sannolikhet, utan att förstå innebörden. Det är en förenkling. Även av papegojors förståelse.

Jag tycker att man kan säga att ett LLM förstår på två sätt:

1. Den kan avgöra vilka meningar som betyder ungefär samma sak och vilka som inte gör det, även om de har helt andra ord. I AI:n representeras ord och ordföljder nämligen som punkter i ett mångdimensionellt rum. En s.k. embedding. Synonymer är mycket nära varandra, och motsatser långt ifrån. Den har optimerat deras placeringar utifrån träningsdata. Det betyder att ett LLM "förstår" att två meningar betyder samma sak, även om meningarna är skrivna med en annan stil, på ett annat språk, eller som matematiska formler eller programkod. Man kan be den skriva om en mening med helt andra ord. Den är bra på att hitta språkliga mönster och strukturer i träningsdata, och kan lära sig använda dem på andra meningar än den har tränades med. Den har därför ett extremt högt verbalt IQ om man testar den.

2. AI:n kan användas för att "resonera" och lösa nya logiska problem som den aldrig har tränats med. Den är bättre än 80% av studenter att besvara universitetstentor i många olika ämnen - sådana knepiga problem som man ger studenter för att testa att de verkligen har förstått. Där de får applicera sin kunskap på helt nya fall och vända och vrida på det de har lärt sig, och dra nya slutsatser. Alltså förstår den - det är svårt att mäta att dess förståelse skulle skilja sig från studenternas. Det kan den därför att mänskliga språk kan uttrycka logiska samband väldigt bra, och den är bra på mänskliga språk. När den resonerar så gör den som man får lära sig på matematiken i skolan - inte gissa och använda intuition utan skriva ned steg för steg hur man gör. Man börjar med att skriva av uppgiften, sedan omformulera den till några logiska påståenden eller matematiska formler eller liknande. Känner man igen mönstret så väljer man att skriva om ekvationerna till det format som en viss lösningsmetod kräver. Efter att ha skrivit om ekvationerna tillräckligt många gånger har man fått ett svar. Den applicerar därmed lösningsmetoder den har tränats på i skolböcker på helt nya problemställningar. Så länge det finns en välkänd standardmetod att lösa uppgiften med så svarar den rätt bra, men om uppgiften kräver en kombination av flera ovanliga metoder så går den bet.

Du menar något annat med förståelse än i universitestsvärlden. T.ex. att förstå andra människors känslor? Empati? Nej den har inga spegelneuroner, men kan ändå beskriva väldigt bra hur jag känner i en viss situation, som om den förstod mig. Därför att den är tränad med mängder av fina introspektiva beskrivningar, t.ex. i självbiografier.

Den är riktigt bra på medicinsk rådgivning, och "förstår" patienten väl, uttrycker sig mer medkännande än många klumpiga läkare. För att den har tränats av väl genomtänkt rådgivning som finns i olika källor.

Du blandar ihop förståesle med fantasi. Den är riktigt usel på humor, man får prompta väldigt många gånger innan den får till ett användbart skämt på ett visst tema, ett roligt rim osv. Humor kräver extra mycket empati och fantasi, för att överraska. Men det är inte samma sak som förståelse.

Den förstår språkliga problem men inte sådanna som kräver visuellt tänkande. Den är som en person som har varit blind hela livet och har svårt att föreställa sig den fysiska verkligheten. Det finns forskning om att simulera verkligheten med schematiska bilder, precis som man löser fysikproblem i skolan genom att rita en skiss över problemet. Ett annat sätt är att den lär sig själv av sina egna erfarenheter - det var så AI blev bättre än någon människa på spel som Go och Schack, efter att den har spelat oändligt många matcher mot sig själv. Bland annat Meta satsar på simuleringar och självlärande nu, vi får se om det blir lika imponerande och användbart som LLM faktiskt är.

Mvh,
Magnus

Baserat på IQ-tester har de någon form av intelligens. Du hade ju inget bättre sätt att mäta intelligens på.

Hur tänker du på längre sikt? Det går aldrig att konstruera en AGI, eftersom vi inte kan upptäcka den med något test? Du har verkligen helgarderat dig.

Baserat på IQ-tester har de någon form av intelligens. Du hade ju inget bättre sätt att mäta intelligens på.

Hur tänker du på längre sikt? Det går aldrig att konstruera en AGI, eftersom vi inte kan upptäcka den med något test? Du har verkligen helgarderat dig.

Vad är det du inte förstår? De IQ tester du refererar till är rena uppslagningsfrågor, jag har själv demonstrerat för dig tidigare att en språkmodell inte ens klarar att rotera en kub som förklarar för den, en väldigt enkel visuospatial uppgift som näst intill alla normal funtade människor klarar.

Ingen modell har ens klarar Arc-AGI 1.0 ännu, och de totalt misslyckas på Arc-AGI 2.0 (för att inte tala om Arc-AGI 3.0)
Tex här ser du alla O3, den som presterade bäst var o3 preview- och klarade ca 70% av testet- till en kostnad av mer än 1000kr per uppgift, release versionen av O3 är inte i närheten av varken prestanda eller kostnaden.

Tillskillnad från de mänskliga deltagarna som löste 98% av Arc-AGI till en kostnad av ca 170 kr per uppgift.

Således är inte någon modell ens i närheten av AGI, vare sig om de ska prestera som en människa- eller enligt OpenAIs egna definition "a highly autonomous system that outperforms humans at most economically valuable work."

Som du kan se på leaderboarden här,
https://arcprize.org/leaderboard

---

Edit för övrigt kan du ju själv prova

Dagens uppgift: https://arcprize.org/play

Säger inte den var jätte enkel, men definitivt inte svår heller; skulle säga majoriteten av tiden gick åt för att rita om i fälten- mitt resultat blev https://imgur.com/a/EgdBfV6

Jag blir bara glad om du har rätt. Jag tror att en självmedveten AGI kan bli ett stort problem, därför vill jag inte se någon AGI inom min livstid. Och helst aldrig med tanke på kommande generationer. Jag hoppas att det inte lyckas.

Vad tror du på längre sikt? 50-100 år? Tror du att det är för evigt omöjligt att skapa en AGI?

Jag tror fortfarande att kan hända inom några år, max 10 år. Baserat på att många experter har sagt det. Inte för att jag vill det. Jag vill inte att det lyckas, som sagt.