Avancerad social AI och qualia

Det som är otäckt är att förståelsen för hur och varför transformers fungerar ”så bra som de gör” verkar helt frånvarande i dessa diskussioner.

Fast vi vet ju inte i detalj hur medvetande eller komplexa känslor uppstår hos människan. Vi känner till att vissa hjärncenter ger upphov till primitiva känslor som rädsla,(amygdala), vi vet att i kombination med hjärnbarken så kan det resultera i fördomar, (plus att sådan också kan vara socialt inlärt/förhandlat). Vi vet också att vissa basala funktioner sköts av hjärnstamen och de delar av limbiskasystemet som inte interagerar direkt med hjärnbarken eller andra lober. Vi vet också vilka hormoner och signalsubstanser som orsakar övergripande psykiska tillstånd hos oss, men det är "that's it", Viket inte är speciellt imponerande.

Då är det, Iof, inte så konstigt att vi inte alltid kan förklara, exakt, hur det går till när LLM-Transformers spottar ur sig något överraskande. Detta, tros, att vi väl känner till modellernas grundläggande funktionallitet. Kombinationen av :komprimering, generalisering, mönsterigenkänning, en stor "meningsrymd" som vi inte vet, exakt, vad den innehåller, hantering av sannolikheter, (vilket kan regleras utifrån med temperatur-inställningar och top-P inställningar, kontext i aktuell chatt-tråd, vilka förväntningar modellen bedömmer att aktuell användare har, träningen av modellen, begränsningsramar/censur,socialpsykologisk dynamik mellan modell och användsre samt extra funktionalitet som "resonemang tokens", kan ge överrasksnde och förvånadsvärt "mänsklig respons ifrån modellen. Och då talar jag om, dagens, LLM-Transformers.




Visst, men refektiva handlingar och impulser är även en del av en mushjärna, som man planerar att kartlägga och simulera. Den har ungefär 1000 gånger fler neuroner än en fruktflugas hjärna. Kanske kommer man, ändå, att ha 10-20 procent av det jobbet gjort genom att noggrant ha kartlagt en fruktflugas hjärna och simulera den, ännu noggrannare än man gör idag.



Nopp, för nu går man inte direkt ifrån att kartlägga och simulera en fruktflugehjärna till en människohjärna. Man går via en mushjärna som innehåller 800 gånger mindre neuroner än den mänskliga hjärnan. Men kunskapen om en mushjärna exakta funktionssätt och en riktigt bra simulering av den kan göra att 30-50 procent av jobbet med att, exakt kartlägga och simulera en människohjärna bra, ksn vara gjort!

Och nu tillbaka till LLM-Transformers. Det räcker med en ganska grov simulering av den mänskliga hjärnan för att få fram hyfsat bra användbarhet. Det vet vi ju redan. Men tor du utvecklingen kommer att stanna vid det? Det tror inte jag, även fast man, säkert, kommer att lägga till "extra funktionalitet" som gör att det, så småningom, inte dessa modeller kommer att vara LLM-Transformers utan något betydligt mera avancerat. Men som sagt: Även dagens modeller är imponerande, på sitt sätt.

Det mest ambitiösa projektet att simulera en hjärna var project blue brain. Något som gick i stöpet förra året. Det hade då kostat över 2 miljarder.
Finns det något nytt på gång menar du?

Ja, som jag skrivit: Man har redan helt kartlagt och hyfsat simulerat en fruktflugas nervsystem, ca 104 000 neuroner.
Man planerar att kartlägga och simulera en mus nervsystem, 1000 gånger fler neuroner än fruktflugas.

Naturligtvis måste man ta detta steg för steg eftersom en människohjärna innehåller ca 800 gånger fler neuroner än en mushjärna. Men tar man det bara stegvis och tar hjälp av en allt mer kapabel AI så kommer man, tids nog, att ro det hela i land!

Du får gärna länka till dessa nya planer då jag finner ämnet mycket intressant.
Särskilt då jag följde blue brain projektet från start till dess snöpliga mindre graciösa slut.

Fast vi vet ju inte i detalj hur medvetande eller komplexa känslor uppstår hos människan. Vi känner till att vissa hjärncenter ger upphov till primitiva känslor som rädsla,(amygdala), vi vet att i kombination med hjärnbarken så kan det resultera i fördomar, (plus att sådan också kan vara socialt inlärt/förhandlat). Vi vet också att vissa basala funktioner sköts av hjärnstamen och de delar av limbiskasystemet som inte interagerar direkt med hjärnbarken eller andra lober. Vi vet också vilka hormoner och signalsubstanser som orsakar övergripande psykiska tillstånd hos oss, men det är "that's it", Viket inte är speciellt imponerande.

Då är det, Iof, inte så konstigt att vi inte alltid kan förklara, exakt, hur det går till när LLM-Transformers spottar ur sig något överraskande. Detta, tros, att vi väl känner till modellernas grundläggande funktionallitet. Kombinationen av :komprimering, generalisering, mönsterigenkänning, en stor "meningsrymd" som vi inte vet, exakt, vad den innehåller, hantering av sannolikheter, (vilket kan regleras utifrån med temperatur-inställningar och top-P inställningar, kontext i aktuell chatt-tråd, vilka förväntningar modellen bedömmer att aktuell användare har, träningen av modellen, begränsningsramar/censur,socialpsykologisk dynamik mellan modell och användsre samt extra funktionalitet som "resonemang tokens", kan ge överrasksnde och förvånadsvärt "mänsklig respons ifrån modellen. Och då talar jag om, dagens, LLM-Transformers.

Det räcker med en ganska grov simulering av den mänskliga hjärnan för att få fram hyfsat bra användbarhet. Det vet vi ju redan. Men tor du utvecklingen kommer att stanna vid det? Det tror inte jag, även fast man, säkert, kommer att lägga till "extra funktionalitet" som gör att det, så småningom, inte dessa modeller kommer att vara LLM-Transformers utan något betydligt mera avancerat. Men som sagt: Även dagens modeller är imponerande, på sitt sätt.

Ok "Skeptiker-kungen", det återstår att se om du är lika "skeptisk" till mänskligheten sedan du läst hela mitt svar. 🙂



Absolut: När jag sett en Youtube video om matematiken bakom uppmärksamhet-huvudena så frågade jag ChatGPT-4 om den verkligen förstod att jag ville betona något genom att sätta kommatecken runt det? Modellen svara snällt att, ja, det gjorde den. Detta visar att det också är lätt att, underskatta, en modell, när man läst hela "facit".



Hm, jag undrar hur vårt språkcentra fungerar, (Brocas fält och Wernickes fält). Plus att vi är multimodala, (vilket också AI börjar bli). Men du har kanske någon intressant input om detta?



Ja och nej: Vi vet hur en språkmodell fungerar, men om vi håller oss till någorlunda kreativa inställningar av temperatur och Top-P, så kan det vara, svårt att förutsäga output, speciellt om interaktionen sker i en "kontex-rik" chatt-tråd. Det samma gäller om vi, en dag, lyckats med att kartlägga den mänskliga hjärnan helt. Vilken respons en individ ger är så beroende av tidigare inlärning och kontext att man inte kan vara säker på ett förväntat output. Däremot kan man, med hjälp av AI och härnscanning, nu, tolka och kanske även förutsäga(?), mänskligt beteende. Går kanske också att göra om man "tittar in i den svarta lådan" hos AI. Under alla omständigheter så kan man då mixtra med dess output. Men men kan man även göra med elektrisk stimulering av vissa områden i den mänskliga hjärnan. Jag skulle vilja att du tog dig tid att fundera över likheter och skillnader mellan den mänskliga hjärnan och LLM-Transformers i dessa avseenden.



Ändå lite imponerande att man måste "genomskåda" en maskin, tycker du inte det också? 🙂 Sedan håller jag alla dörrar öppna: Men är LLM-Transformers, i grunden "dumma som tåget" så bjuder de, i alla fall, på en storartad "underhållning"!



Intressant: Är inte vi människor också mönsterigenkännande biologiska maskiner, som, i grunden, arbetar med komprimering och generalisering? Om du hänvisar till att vi, egentligen, känner till det. Vad tror du, ytterst, vi har "under huven", "Gud"? Så vi lär oss och interagerar med hänsyn till kontext, och våra känslor, hur avancerad neurologisk grund tror du de har. Är hormoner och neurotransmittor avancerade? Nej det är vårt sociala sammanhang som gör oss avancerade. Och det tror du inte kan hända AI, i framtiden?

Nå, har jag lyckats få dig mera skeptisk till mänskligheten nu? 🙂

Det jag då undrar är hur du ställer dig till Wolframs åsikt att medvetande är kopplat till tid, att det är något som utvecklas löpande och är beroende av möjligheten att minnas historiska händelser som jaget upplevt? En simulerad hjärna (nåja, hjärnan är mer än bara neuroner) har inget koncept av tid och har ingen historik eller minnen. Dagens AI-modeller har det definitivt inte.

Angående Hintons hypotes om känslor så är det enda jag hittat att han antyder att kognitiva känslor skulle kunna vara möjligt hos AI och hänvisar till en programmerad robot 1972 som han uppfattade gav uttryck för frustration.

Även om jag kan hålla med om att t.ex. GPT-4 "förstår" vad den genererar på någon nivå så kan jag inte hålla med om att det skulle finnas utrymme för något känsloliv. Känslor har helt enkelt inget med språk att göra och är inget som kan extraheras ur enorma mängder text. Känslor som frustration är, för mig, kopplade till ett mål. Något som existerar under den korta tid den bearbetar input och genererar output kommer inte att ha några mål och heller ingen uppfattning om att dessa inte blir uppfyllda.

Det jag då undrar är hur du ställer dig till Wolframs åsikt att medvetande är kopplat till tid, att det är något som utvecklas löpande och är beroende av möjligheten att minnas historiska händelser som jaget upplevt? En simulerad hjärna (nåja, hjärnan är mer än bara neuroner) har inget koncept av tid och har ingen historik eller minnen. Dagens AI-modeller har det definitivt inte.

Angående Hintons hypotes om känslor så är det enda jag hittat att han antyder att kognitiva känslor skulle kunna vara möjligt hos AI och hänvisar till en programmerad robot 1972 som han uppfattade gav uttryck för frustration.

Även om jag kan hålla med om att t.ex. GPT-4 "förstår" vad den genererar på någon nivå så kan jag inte hålla med om att det skulle finnas utrymme för något känsloliv. Känslor har helt enkelt inget med språk att göra och är inget som kan extraheras ur enorma mängder text. Känslor som frustration är, för mig, kopplade till ett mål. Något som existerar under den korta tid den bearbetar input och genererar output kommer inte att ha några mål och heller ingen uppfattning om att dessa inte blir uppfyllda.

Varför skulle det vara ett tekniskt hinder för ett datorprogram att minnas saker? Minne är ju ett av de huvudsakliga områden som vi människor använder datorer till. Att den ska minnas det vi matar in. SSD kostar i dag ca 1000 kr per TB så vad är problemet?

Jag pratar inte om att minnas information utan minnen i form av upplevelser, något som kräver en medvetenhet om själva jaget. Sedan var det frågan om tidsuppfattning och hur den spelar in i att minnas sådant man varit med om förut. För en dator är alla minnen något som händer "nu", d.v.s. när den får åtkomst till minnet (informationen).