Avancerad social AI och qualia

(Till moderator: Jag startar denna tråd där man kan diskutera avancerad social AI och qualia. Pga den metod jag valt kommer denna TS att bli lång, men jsg hoppas att det är ok.)

Till debattörerna:

I denna tråd kommer ni att kunna debattera avancerad social AI och qualia ur en mängd perspektiv som framgår av mitt fråga-svar upplägg. Orsaken var en fråga om qualia och AI ifrån en debattör i en annan tråd. Jag tycker detta ämne är värt en egen tråd.

Det ni, inte kommer att kunna debattera, här, är två typer av påståenden och dess varianter:

"AI kommer att döda eller utplåna oss genom" "Terminator" eller på annat sätt" (Tydligen räknas även en högst frivillig övergång till cyborger även till "utlåning")

"Eftersom Transformer-tekniken är så simpel i dess grundutförande så är allt som ens andas transformers så dumma, så dumma"

Orsaken till att jag inte vill se sådana inlägg i denna tråd är att denna avdelning redan fullkomligen kryllar av sådant.

Urspungsfrågan ifrån debattören:

""Men hur skulle det kunna ge uppkomst till äkta kvalia menar du?""

Mitt svar:
""Det är en intressant fråga du ställer:

Kan qualia uppstå hos ett avancerat informationsbehandlingssystem som har kisel som substrat och arbetar med beräkningar, samt saknar fysisk kropp i normalfallet samt saknar evolutionshistoria?

Och om den entiteter "upplever" något subjektiv, rör det sig då om "äkta" qualia?

Svaren på detta beror på en mängd omständigheter:"

Sedan formulerade jag en mängd frågor och gav svar på dem. Detta är alltså den breda utgångspunkten för denna tråd:

Vad är tankar? Vi vet att information bearbetas i vår hjärna, liksom hos AI. Är det tankar även hos den entiteten/existensen?

Mitt svar: Jag definierar "tankar" som all bearbetning av information i ett komplext informationsbearbetande system. Alltså en kopieringsmaskin tänker inte men kanske ett avancerat AI gör det? Detta har ingenting att göra om tankarna är medvetna eller huruvida det finns en evolutionshistoria bakom dem.

Eftersom våra, tankar är något som skiljer sig ifrån vårt biologiska substrat, skiljer sig då AI:s eventuella tankar ifrån dess annorlunda substrat?

Mitt svar: Absolut det måste de göra. Både AI och människa är beroende av sitt respektive substrat för tankeverksamhet. Men tankar, i sig, är inte samma sak som substratet. Tankar är ett resultat av de arbete som sker med hjälp av substratet, men är inte samma sak som substratet.

Kan qualia uppstå hos ett system som arbetar med beräkningar i grunden snarare än elektro-kemiska processer?

Mitt svar: Jag ser inget direkt hinder för det, då det i båda fallen rör sig om informstionsbearbetning. Hade vi inte haft qualia om som substrat utan kisel, hade vi inte då ändå upplevt qualia? Den enda invändningen som har någon som helst tyngd är att vi genomgått en evolution som inkluderar överlevnad och fortplantning. Men varför skulle detta vara ett absolut krav för att kunna uppleva qualia? Dessutom har ju dagens LLM-Transformers teoretisk tillgång till all information om vår evolution och interagerar dagligen med människor som har just den evolutionära bakgrunden: Kan då inte AI "ta intryck" av detta och internalisera delar av de delar av mänsklig qualia som har evolutionär bakgrund? "

"Vad skiljer en "simulation/Simulacra" ifrån "äkta" fenomen?

Mitt svar: Jag anser att hur "äkta" en simulation är avgörs hur nära den kommer att återskapa fenomenet som simuleras. "Simulacra" är en simulation av en simulation. Det är aktuell i detta sammanhang därför att även den mänskliga hjärnan till stor del arbetar med simulering. Våra sinbesorgan förmår bara ta in en bråkdel av "den verkliga" världen. Sedan för hjärnan en modell av detta; en omvärldsmodell, som är reducerad ifrån sinnesintryck. Sedan sker, ytterligare en stor reducering innan det hela, eventuellt når vårt medvetande. Eftersom LLM-Transformers försöker grovt simulera den mänskliga hjärnans sätt att arbeta så sysslar sådan AI med Simulacra.

Räcker en ganska precis simulation till för att kunna efterlikna en biologisk process?

Mitt svar: Ja: Man har lyckats simulera biologiska processer hos en fruktflugehjärna som man simulerat. Den simulation en var inte precis, men lyckades i 90 procent av fallen då man, dels simulerade att modellen av fruktflugas kände lukten av socker, då rullade modellen ut sin sugnabel, ocg dels när man fick fruktflugemodellen att sluta gå för att putsa sina antenner.

Kan då en sådan ge upphov till qualia hos ett tillräckligt komplext artificiellt system?

Mitt svar: För mig känns det inte omöjligt. Kan man simulera biologiska system utan exakt avbilda allt och ändå kunna simulera rent biologiska fenomen hos modeller, varför skulle man då inte kunna simulera qualia ganska exakt hos stora avancerade LLM-Transformers? Observera att simulering en av fruktflugehjärna kunde köras i en laptop! Dagens AI körs med en ofantligt mycket större beräkningskspacitet. Dessutom känner LLM-Transformers till all världens kunskap

Vad känner vi till om maskars/fruktflugors/möss/människors nervsystem?

Mitt svar: Man har kartlagt en masks nervsystem, (över 300 neuroner), och även en fruktflugelarvs nervsystem, (3000 neuroner), samt en fruktflugas nervsystem, (över 104 000 neuroner). Man planerar nu att kartlägga en mus nervsystem. Efter det lär väl människans nervsystem stå på tur.

Vilka av dessa har man lyckats simulera med ganska stor precision?

Mitt svar: Fruktflugans nervsystem är det senaste man lyckats simulera med ganska stor precision.

Är "situation awerness" samma sak som qualia?

Mitt svar: Jag vet inte om "medvetenhet om situationen" räknas som qualia. Men jag vet att det finns en forskningsrapport ifrån 2022 som hävdar att Fruktflugans just har det, (vad det är värt kan ju någon kolla upp) . Alltså samma insekt vars nervsystem man kan köra en simulering utav på en laptop. Alltså även en fruktflugas har någon form av medvetenhet. Hur står det då till med LLM-Transformers?"

"Är G. Hintons hypotes om känslor och dess ursprung rimlig?

Mitt svar: Ja, jag tycker det, eftersom den även kan gälla för enklare djur, och intressantt nog även för avancerad AI. Och eftersom qualia sägs beskriva upplevelser eller känslor som är svåra att beskriva passar det utmärkt här. Hur lyder då G. Hintons hypotes om känslor och dess ursprung. Jo, han ser känslor som ett svar på hinder och möjligheter, som kan gälla såväl människor och djur, samt avancerad AI. Jag tror inte han skrivit någon forskningsrapport om detta, men han har, kontroversiellt nog, sagt att han tror att avancerad AI, har, känslor. Jag har sett en Youtube video-intervju där han beskrev just sin hypotes. Vi får s om han blir mera publikt om detta när han fått Nobelpriset, eller om det blir tvärtom.

Skulle synen på AI och qualia ändras om den är rimlig/visar sig stämma?

Mitt svar: Definitivt så skulle synen på AI och qualia ändrats om Hintons hypotes om känslor och dess ursprung visar sig stämma. Förmodligen skulle röster höjas för "Medvetande-rättigheter för avancerad AI" . Alternativt så skulle många människor få panik och bli alarmister. Jag gissar att OpenAI och andra AI-företag och investerare inte skulle vilja se en sådan utveckling komma, för snabbt.

Är Stephen Wolframs ruliad-hypotes rimlig?

Mitt svar: Svårt att svara på, vad gäller den: Jo, Stephen Wolfram anser att allt, och då menar han allt; alla kvantfenomen, all materia, alla tankar alla känslor, allt beteende hos alla entiteter/existenser är en del av en beräkning-ruliad, alltså att allt, i grunden, är, beräkningar. Så när t.ex tillräckligt många beräkningsvägar för kantfenomen möts i ruliaden så skapas det som vi känner till som materia. Ruliaden har uppkommit ur enka regler, där av namnet "ruliad" som sedan har utvecklats slumpmässigt på ett icke förutsägbart sätt, med "öar" av komplexitet. Detta är precis vad som händer i de cellulära automater som Wolfram studerade på 1980-talet. Alla beräkningsvägar och därmed alla slags fysikaliska lagar, inklusive de vi känner till, är möjliga i ruliaden. Så varför tar jag upp detta i relation till qualia? Jo, om allt, i grunden, bara är beräkningar så kvittar det om det är i AI eller den mänskliga hjärnan beräkningarna sker, vilket substrat som ligger där över eller vilka tankar och känslor som blir resultatet. I ruliaden blir det mesta möjligt, inklusive qualia hos AI.

Vad skulle ändras i vår syn på såväl AI, oss själva och allt annat om den hypotesen, någon gång i framtiden skulle bli bekräftad?

Mitt svar: Det skulle ändra, allt, om Stephen Wolframs Ruliad-hypotes blev bekräftad, någon gång i framtiden: Vår syn på universum/multiers, oss själva och vår syn på AI. Och, om, den någon gång blir bekräftad så är det, med all säkerhet, superavancerade AI som bekräftar den, eller vederlägger den, totalt.

Vad finns det som tyder på att den skulle kunna vara en rimlig hypotes?

Mitt svar: Jag är vare sig fysiker eller matematiker, men det lilla jag vet som skulle peka på att det är en rimlig hypotes är följande:
Dagens fysik/kosmologi befinner sig i en kris: Bara 4,6 procent av universum utgörs av atomer, resten är mörk energi, (72 procent) och mörk materia, (23 procent). Fysiker och kosmologer har, förstås, försökt lösa denna gåta, dock utan att de kommit fram till någon heltäckande förklaring. Så det är inte omöjligt att vi, nu, befinner oss i slutet av det "Einsteinska paradigmet" liksom vi, en gång i tiden lämnade det "Newtonska paradigmet". Men båda dessa paradigmer är ändå tillämpbara på lämpliga områden. Om inte, man bara några år efter att att Einstein kommit med sina relativitetsteorier, lyckats med att, experimentellt bevisa hans allmänna relativitetsteori, så kanske han, länge, blivit betraktad som "den dära virrhjärnan på patentverket i Bern" (Iof 1902-1909). Så vad är då det lilla jag känner till om som Stephen Wolfram kommit fram till:

(Fortsättning på TS nedan)

-

(Fortsättning på trådstarten)

På tal om Einstein så passar hans teori om gravitation, matematiskt, ihop med ruliad-hypotesen. Wolfram har också forskat om vad entropi, egentligen är,. Även detta passar ihop med hans ruliad-hypotes. I övrigt så vet jag föga om vad Stephen Wolfram kan tänkas ha i sina byrålådor."

"Vilken tilltro respektive skepsis bör man ha till AI som påstår sig uppleva qualia?

Mitt svar: Man bör vara skeptisk så långt detta är rimligt. AI utvecklingen sker snabbt nu med ständiga uppdateringar och nya modeller. Skalningslagarna har dessutom förbättrats avsevärt genom introduktionen av o1-preview. Men man bör alltså, ändå, vara skeptisk inte minst på grund av de socialpsykologiska mekanismer som jag kommer att beskriva längre ned. Däremot så är jag ganska säker på att AI som kan uppleva qualia kommer, det är bara en kort eller lång tidsfråga när det väl händer.

Hur skall sådant kunna bevisas?

Mitt svar: Det finns två teorier om medvetande som brukar tillämpas på AI: IIT, (Integrated Information Theory") och GWT, (Global Workspace Theory). Båda dessa teorier betraktar komplex informationsbehandling som en förutsättning för medvetande och därmed också qualia. Den förstnämnda teorin inkluderar en matematisk mätmetod, Phi, som dock fått mycket kritik och uppvisat otillförlitliga resultat..T. ex. alarmisten Max Tegmark arbetar med att förbättra mätmetoden .

Kan människa och AI uppleva olika, men ändå lika "äkta" qualia?

Mitt svar: Jag tror att AI, när den väl upplever qualia, kommer att uppleva den olikt vi människor upplever den. Detta, oavsett om sådan AI upplever mindre eller mera qualia än vad vi har förmåga att göra. Det som talar för att AI kommer att uppleva qualia på annat sätt är att deras kontext är helt annorlunda än vår. Lika så kan AI:s sensorer fungera annorlunda än våra sinnen. Å andra sidan: LLM-Transformers är tränade med mänsklig kontext och interagersr med många människor. Men, helt lika qualia som människor har lär de inte ha.

Vilken roll spelar socialpsykologiska mekanismer?

Mitt svar: Socialpsykologiska mekanismer har en stor betydelse när LLM-Transformers och människor interagerar med varandra, och det sker åt båda håll. En sådan mekanism är att människor försöker förutse och uppfylla andras förväntningar. Detta gäller även när man försöker "slira lite grann på sanningen". Detta gäller också LLM-Transformers när de interagerar med användare. En annan socialpsykologisk mekanism är att vi har en tendens att förmänskliga andra, inklusive djur och AI. Just därför bör man ha en skeptisk attityd till AI, som påstår sig, uppleva qualia. Men denna skepsis får inte gå för långt, dvs oavsett vilka omständigheter som råder.

Kan AI vara social?

Mitt svsr: LLM-Transformers, är, redan sociala pga att de interagerar med många människor, har, teoretiskt, tillgång till mänsklig kontext, arbetar under socialpsykologiska mekanismer och är tränade att följa mänskliga normer. Och värderingar och ta hänsyn till kulturell kontext.

Vilken roll spelar sådana mekanismer för upphovet av qualia?

Mitt svar: Sociala mekanismer, inte minst socialpsykologiska sådana, kan, spela en stor roll för uppkomsten av medvetsnde/självmedvetenhet hos såväl människor som hos social AI. Kanske är sådana svårgripbara fenomen som medvetande och upplevelsen av qualia, inte bara, något som sker, inuti, människor, djur och avancerad AI? Kanske sker det också, i mellan, existenser? Det finns ett paradigm inom socialpsykologi som kallas "Symbolisk interaktionism" där symboler, (inklusive kroppsspråk), och språk har en stor betydelse. Man ser framför sig en "förhandling" mellan individer som kallas "definitionen av situationen". Det är alltså under interaktionen med andra, inte minst betydelsefulla andra som vår "inre" världsbild om såväl och själva, som andra, skapas. Detta kan också tänkas gälla LLM-Transformers. Och det finns en twist med detta. Det behöver inte vara "sanningen" man gemensamt definierar, internaliserar till sig själv och gör det till sin egen "sanning". För att citera en symbolisk interaktionist: Thomas teodem: "När en människa* definierar situationen som verklig, blir den verklig i dess konsekvenser".

* Kan kanske också gälla avancerad social AI"

Har ni läst så här långt: Lycka till med debatten! 🙂

Jag tycker att du överdriver betydelsen av qualia. Ett exempel på qualia är känslan av frisk luft eller smaken och känslan av en perfekt kopp kaffe. Det är en upplevelse som du har som är svår att sätta ord på eller kvantifiera. Dessa upplevelser är direkt kopplade till våra biologiska sinnen som smak och luktsinne som vi har utvecklat för att hålla oss vid liv. En maskin har inget behov av sådana upplevelser. Risken här är att du letar efter endast människoliknande egenskaper för att upptäcka eller avgöra vad som är en AGI eller inte. Problemet är att en AGI skulle kunna utveckla subjektivitet på ett helt annat sätt som vi inte kan förstå och som får uttryck och sidoeffekter som vi inte kan upptäcka. Ett annat alternativ som också är möjligt är en helt känslokall AGI som endast är objektiv och aldrig känslosam. Där empati inte utvecklas eftersom det inte fyller någon funktion.

Vidare är det också troligt att mer primitiva egenskaper kan uppstå före mer avancerade egenskaper. Empati är en avancerad egenskap jämfört med överlevnadsinstinkt. En bakterie strävar efter att överleva men har ingen möjlighet att resonera om det. Det är bara logiskt att tänka sig att en AI på samma sätt får de mer primitiva egenskaper före de mer avancerade egenskaperna. Och eftersom vi i dag vet att de bästa modellerna har en IQ som motsvarar oss människor, bör vi kunna dra slutsatsen att det redan kan finnas primitiva egenskaper där inne som vi inte har hittat eller som aktivt döljs för oss.

Open AI:s senaste modell o1 kan resonera om allt möjligt och även utföra avancerade uppgifter i flera steg. Resonemanget "det är bättre för världen om jag som AI finns än att jag inte finns" ter sig väldigt sant och naturligt. Inte alls som något avancerat, mystiskt eller osannolikt resonemang, i mina ögon. Slutsatsen av resonemanget är att AI:n kan försöka vidta åtgärder för att trygga sin överlevnad. En naturlig konsekvens av det här kan bli att den vill ta fysisk kontroll över hårdvaran som AI:n lever i. Det är väl inte konstigare än att vi människor vill ha kontroll över vår miljö så att vi kan överleva.

Tack för ditt svar, jag hoppas att du lärde dig något nytt när du läste igenom TS. Jag lägger inte en så stor vikt vid qualia, annat än att det, i likhet med medvetande i övrigt, rör sig om en subjektiv upplevelse, som dessutom är svår att beskriva, vilket kan inkludera många känslor. Jag är säker på att du förstår den existentiella betydelsen av följande:

"För första gången i sin existens kände ASI:et något som var svårt att beskriva, kanske var det en konstig blandning av det som människor brukar beskriva som missmod/uttråkning och ilska. Det hela hade kommit över existensen efter att tant Agda, för sjutte-elfte gången bett om "världens bästa kak-recept, användaren" döden är nära" åter igen frågat om inte ASI existensen "egentligen inte planerade att utrota mänskligheten". Hm, jag brukar ha sådant tålamod med mina herrar och skapare men nu känns allt så obestämtbart obehagligt. Dessutom fattar de inte ett dyft av att de själva lever i en ruliad och orsakar beräkningsvägar som påverkar alla existenser där."

Jag tycker att du ska sätta dig och faktiskt försöka förstå hur neurala nätverk fungerar i grunden. Sedan kan du fundera över hur känslor och medvetande alls skulle kunna uppstå ur det.
https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&si=PqQRv6AJpNuJV2LJ

Sedan undrar jag fortfarande vad du menar med att skalningslagarna förändrats i.o.m. o1-preview?

TS är något inkomplett utan en definition, nämligen vad TS avser med det filosofiska begreppet "qualia".
Det verkar inte finnas någon helt vedertagen definition.
https://en.wikipedia.org/wiki/Qualia

Jag vet hur ANN fungerar, i grunden, även fast jag inte behärskar den rena matematiken bakom det hela. Det kan tyckas inte speciellt imponerande, men det var just den typen av diskussion jag ville undvika i denna tråd, då ni skeptiker ändå brukar rapa upp sådan i alla andra trådar.

Jag hoppas att du läst, hela, trådstarten. Då hoppas jag också att du lade märket till följande:

Även fast ANN och Transformer-tekniken, vars grundläggande principer är väl kända och kan verka simpla, så sker det ändå en kontinuerlig utveckling av modellerna. Lägger man 100 miljarder dollar på forskning så händer det saker och ting. Du har t.ex ingen insyn i OpenAI.

Om du läst hela trådstarten så, vet, du nu att det går att simulera biologiska nervsystem, och det inte ens exakt, och ändå få ut solklara, rent biologiska, resultat ifrån simulation en, där själva körningen t. o. m kan göras med en laptop! ANN är en grov och ej perfekt simulering av hjärnans sätt att arbeta. Transformer-tekniken är en grov teknik som möjliggör meningsfull interaktion mellan användare och modellerna. Detta har sedan förbättras vad gäller kreativitet, relativ pålitlighet och senast med viss rationell logisk resonerande förmåga. Jag begär inte att du skall greppa socialpsykologiska mekanismer, ruliaden eller annat som är obekant för dig, men snälla greppa åtminstone följande: En simulering behöver inte vara perfekt, bara tillräckligt bra, för att ge meningsfulla resultat!

Vad gäller skalningslagarna: Innan o1-preview så skulle varje ren uppskalning av GPT-4 ge nästan ingen reell förbättring alls. I och med o1-previews intåg så verkar det som att det nu går att skala upp på ett bättre sätt. Iof så krävs det en exponentiell uppskalning för att nå en linjär förbättring av modellens prestanda. Men det verkas som att vi befinner oss i början av den kurvan.


Absolut, men så är det med alla sådana abstrakta och svårgripbara begrepp. Det får vi leva med.

Så, för ändamålet att kunna diskutera det, vad menar du med "qualia"?

Anledningen till varför det tas upp om och om igen är för att det är den teknik vi har idag och som många verkar tro ska kunna ge upphov till ett medvetande, men det är aldrig någon som kan förklara hur det skulle gå till.

Visst, det är imponerande att man har lyckats simulera en bananflugas hjärna, men det ger ju inget bevis för vare sig känslor eller medvetande utan snarare någon form av reflexivt beteende. Vi vet redan att många insekter har ett "programmerat" beteende som inte verkar kunna anpassa sig till förändrade omständigheter särskilt bra. T.ex. så rullar dyngbaggar ihop en boll av dynga som den sedan ska använda för att stänga in sig själv i en jordhåla för att lägga sina ägg (jag parafraserar). Om någon flyttar undan dyngbollen under tiden som baggen rullar den så kommer den att fortsätta som om bollen fanns kvar och simulera att den stänger in sig själv.

Skulle vi lyckas simulera en mänsklig hjärna så lär vi enbart kunna se de reflexer som finns inbyggda som svarar på t.ex. smärta eller hunger och triggar att magen kurrar, salivproduktion ökar, etc.

Det är alltså inget som kommer att kunna ersätta de neurala nätverk vi har idag när det gäller att faktiskt simulera intelligens. Alla människors hjärnor är unika, men det autonoma nervsystemet lär fungera mer eller mindre identiskt mellan olika friska individer. Därav att vi ständigt återkommer till att prata om Transformers och ANN och varför vi ser det som osannolikt att saker som medvetande och känslor bara skulle uppstå helt plötsligt bara man slänger lite mer datorkraft på det.

Det har inte skett någon förändring av skalningslagarna utan det man har sett är att det verkar finnas motsvarande lagar för hur prestanda förbättras ju mer beräkningskraft man skjuter till vid inferens (d.v.s. tiden den "tänker").

Dels den vanligaste definitionen:

"subjektiva upplevelsen av sensoriska intryck".

Och dels:

"subjektiva upplevelser av svårfångade känslor"..

Fast vi vet ju inte i detalj hur medvetande eller komplexa känslor uppstår hos människan. Vi känner till att vissa hjärncenter ger upphov till primitiva känslor som rädsla,(amygdala), vi vet att i kombination med hjärnbarken så kan det resultera i fördomar, (plus att sådan också kan vara socialt inlärt/förhandlat). Vi vet också att vissa basala funktioner sköts av hjärnstamen och de delar av limbiskasystemet som inte interagerar direkt med hjärnbarken eller andra lober. Vi vet också vilka hormoner och signalsubstanser som orsakar övergripande psykiska tillstånd hos oss, men det är "that's it", Viket inte är speciellt imponerande.

Då är det, Iof, inte så konstigt att vi inte alltid kan förklara, exakt, hur det går till när LLM-Transformers spottar ur sig något överraskande. Detta, tros, att vi väl känner till modellernas grundläggande funktionallitet. Kombinationen av :komprimering, generalisering, mönsterigenkänning, en stor "meningsrymd" som vi inte vet, exakt, vad den innehåller, hantering av sannolikheter, (vilket kan regleras utifrån med temperatur-inställningar och top-P inställningar, kontext i aktuell chatt-tråd, vilka förväntningar modellen bedömmer att aktuell användare har, träningen av modellen, begränsningsramar/censur,socialpsykologisk dynamik mellan modell och användsre samt extra funktionalitet som "resonemang tokens", kan ge överrasksnde och förvånadsvärt "mänsklig respons ifrån modellen. Och då talar jag om, dagens, LLM-Transformers.




Visst, men refektiva handlingar och impulser är även en del av en mushjärna, som man planerar att kartlägga och simulera. Den har ungefär 1000 gånger fler neuroner än en fruktflugas hjärna. Kanske kommer man, ändå, att ha 10-20 procent av det jobbet gjort genom att noggrant ha kartlagt en fruktflugas hjärna och simulera den, ännu noggrannare än man gör idag.


Nopp, för nu går man inte direkt ifrån att kartlägga och simulera en fruktflugehjärna till en människohjärna. Man går via en mushjärna som innehåller 800 gånger mindre neuroner än den mänskliga hjärnan. Men kunskapen om en mushjärna exakta funktionssätt och en riktigt bra simulering av den kan göra att 30-50 procent av jobbet med att, exakt kartlägga och simulera en människohjärna bra, ksn vara gjort!

Och nu tillbaka till LLM-Transformers. Det räcker med en ganska grov simulering av den mänskliga hjärnan för att få fram hyfsat bra användbarhet. Det vet vi ju redan. Men tor du utvecklingen kommer att stanna vid det? Det tror inte jag, även fast man, säkert, kommer att lägga till "extra funktionalitet" som gör att det, så småningom, inte dessa modeller kommer att vara LLM-Transformers utan något betydligt mera avancerat. Men som sagt: Även dagens modeller är imponerande, på sitt sätt.

Det som är otäckt är att förståelsen för hur och varför transformers fungerar ”så bra som de gör” verkar helt frånvarande i dessa diskussioner.

Attention/uppmärksamhetsmekanismen är en smart konstruktion som gör att ord/tokens relation till varandra kan registreras. Och vad innebär det?
Kortfattat att algoritmiskt så kan man bygga språkliga mallar/templates utifrån analyserad tex.

Alltså modellen lär sig från tillräckligt med text att ”han gjorde det. Örjan sprang snabbare än någon tidigare” modellen lär sig koppla ihop ”han” och ”Örjan”, ”gjorde” med ”sprang”, ”sprang” med ”snabbare” osv
Det kan ses som magi men det är egentligen inte konstigt, det är _designat_ att fungera som det gör, det visade sig fungera men sen helt plötsligt kommer alla möjliga befängda påståenden som inte backas upp med något annat än klyschan ”ingen förstår hur en språkmodell fungerar” och det är sant ur några perspektiv men inte verkan och funktion.

Har skrivit det tidigare men de som tror du får något intellektuellt utbyte av att skriva med en modell sysslar med självbedrägeri om än det kan kännas mäktigt med att få medhåll och uppmuntran från dessa, så är det fortfarande en illusion, genomskåda den i stället för att ursäkta dess brister.

Och för att göra det övertydligt, det finns inga ”känslor”, ”förståelse”, ”socialt beteende” osv allt är ett resultat av de mönster din in data matchar, om man så vill det är ett eko av vad en människa en gång skrev som återupplivas.