Vad kan en AI förstå?

Vad menar du med "en AI utan kod"? Programkoden i ett LLM är ganska liten. Det var när GPT fick bra träningsdata i form av massor av simulerade samtal mellan verkliga mänskliga tränare som den plötsligt betedde sig som att den förstår. Ingen har programmerat den att säga på något särskilt sätt, utan den är tränad.

Jag har skrivit många inlägg i denna tråd om vad jag menar med förstå, nu skulle jag vilja att någon annan bemöter dem. Jag tror att skälet till att vi ser så olika på saken är att vi har olika definition av vad det är att förstå.

Nej, dagens LLM kan inte emulera en hund, än mindre en människa. Möjligheten till ”emulering” sträcker sig idag till att skapa och köra ett Python-skript i en virtuell maskin och iaktta resultatet

Dagens AI kan lura oss att tro att den förstår den intelligens som är inbyggd i naturliga språk och domäner av reguljära uttryck (mönster för text).

Men.. en hund saknar våra naturliga språk. Men ändå så förstår den att en dörr öppnas utåt, att du är ledsen, eller en hel mängd av andra saker.

Berövar du en LLM språklig förmåga så återstår just ingenting.

Bara för att du fattar en text betyder det inte att den som skrev den också fattade. En AI (LLM) kan sätta ihop ord så det låter vettigt, men den har ingen egen förståelse av vad det betyder.

Det jag har sagt i denna tråd många gånger är: Förståelsen bör vara mätbar. Hur mäter vi att en universitetsstudent verkligen förstår teorin och inte bara har memorerat utantillkunskap? Jo, vi ställer knepiga problemlösande frågor, där studenten måste tillämpa teorin på ett helt nytt case som inte finns omnämnt i läroboken. Där studenten måste vända och vrida på teorin från olika perspektiv.

AI-bottarna ger bra svar på många problemlösande tentafrågor. Bättre än genomsnittet av alla universitetsstudenter. Ok de kan ha svårigheter med uppgifter som kräver visuellt tänkande och grafisk lösning, men klarar sig ändå förvånansvärt bra på visuella uppgifter. LLM är särskilt bra på att generera programkod, vilket kräver att människor har högt IQ. SKälet till att LLM kan "resonera" och "tänka" logiskt är att vårt mänskliga språk, och i ändå högre grad programspråk, kan uttrycka logiska samband, och LLM är bra på språk, på att successivt konvertera från en språklig form till en annan, t.ex. från en fråga till ett svar. Precis som vi människor får lära oss i skolan att göra när vi löser matematiska ekvationer steg för steg med papper och penna. Den är tränad på massor av övningsuppgifter med lösningsförslag.

Så om förståelsen kan mätas på det viset så förstår LLM:en i någon bemärkelse. Har du något annat förslag på hur vi ska mäta och avgöra om LLM förstår?

Har du själv testat om den klarar logisk problemlösning som om den förstår?

Sedan hör jag vissa lägga till extra krav för att det ska räkna ssom "verklig" förståelse. T.ex. att den ska vara grundad i sinnesintryck och egna erfarenhet. Men en person som varit blind eller döv sedan födseln, eller som sitter isolerad, kan trots allt förstå böcker personen läser på ett teoretiskt sätt. Så det extrakravet håller inte ens för mänsklig förståelse.

Andra extrakrav vissa har är att man ska ha empati, känslor, medvetande, egen vilja, för att förstå. Varför då? Det vi pratar om här är kognitiv psykologi, alltså hur vi tänker och löser problem, medan känslor är en annan del av psykologin. Ok en psykopat kan ha svårt att förstå hur jag känner, för den har något tjall på spegelneuronerna, men personen kan ändå ha en teoretisk förståelse hur känslor beskrivs, och kan tränas till att kalkylera konsekvenserna av sitt handlande för människors känslor, och att manipulera omgivningen. LLM är riktigt bra på att sätta ord på människors känslor i olika situationer, trots att LLM rimligen är som psykopater utan spegelneuroner.

Ett annat extrakrav är att mekanismen ska vara biologisk. Därmed skulle inte en hypotetisk E.T. kunna förstå.

Alla tjatar om att LLM bara är "stokastiska papegojor", som enbart är konstruerade för att räkna ut vad som är nästa mest sannolika ord, ett ord i taget. Men dessutom har de en inbyggd mekanism som gör att ord och meningar som är synonyma får nästan samma interna representation (en kod som är en vektor eller embedding). Alltså förstår de konceptuellt.

En enskild neuron, eller en bananflugas hjärna, eller ett mänskligt foster, förstår inget. Men en tillräckligt komplex biologisk hjärna som har tränats kan förstå. Förståelse är en emergent förmåga, som uppstår på högre organisationsnivå än de enskilda neuronerna och AI-algoritmerna. Tack vare att dagens LLM har tillräckligt stort och komplext neuronnät, och att de är tränade. De första GPT-versionerna svarade mest med svammel, men när de blev komplexa och tränades med enorm mängd mänskliga samtal av AI-tränare så kunde de också lösa många logiska problem som om de förstår.

Jag tycker att man kan säga att de åtminstone har teoretisk och konceptuell förståelse.

Godtycklig programvara förstår vad den ska göra. Den är mätbart kompetent utan att vara intelligent.

Jag förstår inte vad du säger. Betyder det att jag inte är intelligent eller inte kompetent?

Regelstyrd icke-självlärande programvara beter sig sällan som om den förstår eftersom de sällan kan lösa nya logiska problem,. Det enda jag kommer på är Wolframalpha.com, som kan lösa avancerade matematiska ekvationer och problem symboliskt (med bokstäver), som om den förstår. Jag betraktar det som en tidig form av regelbaserad AI.

Hos människor är IQ-testresultat ett mått på intelligens, och är starkt korrelerade med betyg i nästan alla skolämnen, dvs med det du kallar kompetens, och det jag kallar teoretisk förståelse. LLM har ett verbalt IQ på kanske runt 150. Några tusen svenskar har högre verbalt IQ än så. Vanligt IQ är svårare att mäta, men är också ganska högt. Det talar för att LLM har teoretisk förståelse.

Du tror på emergent intelligens hos allting. Det är hela din poäng.

Inte hos allting, men jag gillar att prata om oväntade "emergenta förmågor" just hos LLM. T.ex. resonemang, logisk problemlösning, och förmåga att programmera - de sök upp som överaskningar, ingen hade räknat ut att de skull emergera när systemet blev tillräckligt komplext.

Min poäng i denna tråd är att man bör definiera förståelse så att det går att mäta och det inte blir ett löst tyckande om LLM förstår eller ej.

Om det är subjektivt kan du förstås definiera det hur du vill.

Kan tänka mig en definition av imaginär intelligens hos teknik. Så en fantasi cyborg skulle ha en IQ motsvarande ett komplext tal: IQ = Re(IQ) + i * Im(IQ).

Så beloppet |IQ| är den totala uppvisade intelligensen och förståelsen. Går det att mäta realdelen och imaginärdelen separat på något vis, eller blir det upp till vad var och en tror? Eller tänker du att realdelen alltid är 0 hos LLM och AI-tjänster, och imaginärdelen är 0 hos människor?

Just det, fantisera vidare.