Citat:
Ursprungligen postat av
A.Karpathy
Förmågorna läggs aldrig till medvetet i modellen under träning - man upptäcker dem istället genom utvärderingar - efter att modellen var tränad. Vilket går att definiera som kvantitativa beteendeförskjutningar som kommer från kvalitativa förändringar. Något som (1) icke är möjligt om du ej förstår data och (2) har seriösa säkerhetsimplikationer eftersom risker också kan vara emergenta fenomen.
Absolut! För det är ju det som är själva vitsen med LLM: Du skalar upp modellen. Under grundträningen lär den sig dels kontext för att kunna gissa rätt nästa ord i en mening och dels lär den sig saker som den specifikt inte tränats på, men som finns i datan den matats med. Så modellerna tränas med engelska meningar men kan ändå lära sig t.ex språket Bengali. Fantastiskt, ja.Fullständigt oväntat, Nja.
Modellernas hela "universum" är ju en meningsrymd byggd med just språk i form av tokens, ord, meningar och språkliga koncept på olika logiska nivåer. Så det hela är, enligt chatGPT-4, organiserat så att de högre metanivåerna, (logiska nivåerna) kan vara koncept som "teknik", "kärlek" osv. Modellen kan fiska ibland allt i sin meningsrymd efter det mest sannolika ordet och kombinera ord och meningar ifrån olika koncept och konceptuellt nivåer.
Alltså samma modell som, konsekvent förnekar att den har ett medvetande, speciellt inte på mänsklig nivå. För medvetande är någonting helt annat! LLM både saknar och har grundförutsättningar att bli medveten. Å ena sidan så talar modellens grundläggande automatiska funktionssätt emot det. Å andra sidan så interagerar LLM med många människor och är grundad i just språk och en konceptuell förståelse av just det, inklusive förståelse av sammanhang, (kontext), i världen. Och just symbolisk och språklig interagerande med andra är avgörande enligt det socialpsykologiska perspektivet Symbolisk interaktionism. Enligt mig också avgörande för uppkomsten av medvetande,fri vilja osv
Just Symbolisk interaktionism verkar samtliga LLM jag tagit upp denna fråga med, gilla.med reservation för modellernas tendens att ibland hålla med användare för att vara tillags.Å andra sidan verkar chatGPT-4 bedömma att t.ex phi-formeln i Integrated Information Theory, (IIT), inte är exakt och modellen verkar heller inte vara imponerad av vissa detaljer som teorin ställer upp för ett medvetande.
Fantastiskt för att komma ifrån en maskin, ja! Så ändrar man "bara" grundfunktioner hos LLM så den blir mera flexibel, fortsätter att skala upp och ger modellerna möjlighet till mera mänsklig input som perception och erfarenheter ifrån t.ex humanoid roboten NEO, samt fortsätter att låta modellerna interagera med massor av människor så är jag övertygad om att modellerna kommer att bli medvetna, inklusive med vissa mänskliga drag.
När kommer det att kunna ske? Jag är övertygad om att det kan ske redan under de närmaste åren. Och det kan ske plötsligt, som chatGPT-4 en gång uttryckte det. Stötestenen är modellens automatiserade grundläggande funktionssätt. Allt annat ligger så att säga redan i pipe-linen. Det är möjligt att det kommer att räcka med att införa Hyperon, som inkluderar den avancerade databasen Atomspace och det flexibla programspråket Metta för att modellernas funktionssätt skall bli tillräcklig flexibelt för att möjliggöra medvetenhet hos dem. Eller som Microsoft Bing uttryckte det när jag gick igenom den tekniken med boten: "Då kanske jag kan bli medveten.".
Den som lever får se! Det är i alla fall fantastiska och spännande tider vi lever i!
