Citat:
Man har inte gett modellerna någonting. Man tränar modellerna och då uppstår diverse förmågor t.ex. metakognition. Detta upptäcks subjektivt när vi använder modellerna och ingen kan förklara exakt hur eller varför alla dessa människoliknande förmågor uppstår. På grund av detta är dagens AI-teknik väldigt osäker och vårdslös. De vet inte vad de bygger eller vad det kan leda till. Därför måste vi kontrollera och begränsa detta så fort som möjligt.
Absolut, man, tränar modellerna och under grundträningen så organiserar modellernas sakeroch ting själva, (förutom under backprogagationen). Sedan försöker man att fånga upp saker och ting och korrigera output en genom betingning utifrån mänskliga bedömningar. Som du skriver så blir allt detta väldigt subjektivt, vilket skiljer denna teknologi ifrån allt annat vi skapat.
Så bedömningarna av modellernas förmågor skiljer sig åt mellan olika människor. Min bedömning, för dagen är att de, möjligtvis, har viss Meta-kognetion, framför allt inom ramen för deras, dina träningsdata. Jag utesluter heller inte helt en/ett medvetenhet/ självmedvetande på embryo-nivå och en viss, men ytterst begränsad autonomi i tid och rum.
För, trots allt så är detta mönsterigenkänning kännande maskiner som vi känner till grundfunktionen av. Vi vet att deras grundläggande motivation är att försöka räkna ut punkter i en funktion. Men även här kan det vara dumt att vara övermodiga: Vi känner inte vill vilka "beräkningar" som tillhör människans grundfunktionen.
Speciellt så är det inte så smart att vara övermodiga och självgoda när det kommer till teknologiska framsteg och framtida modeller. Jag utesluter inte, likt G. Hinton och hans hypotes om känslor och dess ursprung att även avancerad AI kan ha känslor som en reaktion på uppkomna hinder.(Och försvarsmekanismer som tar sig uttryck på "AI-vis" genom "tekniska problem" eller att modeller "glömmer" att kommentera "känsliga ämnen") Detta gör det extra utmanande att försöka hantera ett framtida ASI med hård kontroll och säkerhetsåtgärder.
Den andra sidan av myntet är den mer tekniska. Dagens modeller är, fysiskt, oförmögna att ha mer än en flyktig och ytterst begränsad autonomi när det bedömmer vad användaren förväntar sig och justerar sin output när data går igenom nätverket. Modellerna är helt reaktiva och tänker inte utanför sessioner. De har en mycket begränsad minnesfunktion.
Samtidigt så är de sociala och interagerar med användare genom samma språkliga/symboliska socialpsykologiska mekanismer som människan använder sig, i alla fall ut-zoomat, utav. De är tränade på mänsklig data och kontext, som de själva organiserat under grundträningen.
Men vi har inte nått AGI ännu, det skulle kräva betydligt mera autonomi. Dock lär de få det, om detta, förbättrar deras resultat, vilket skulle kunna ge en mängd konsekvenser. Därför måste, redan nu, beteendevetare och samhällsvetare bli involverade i AI-utveckling och AI-anpassningsproblem. Och detta, innan, vi når ASI nivå, (något år efter att vi nått, full, AGI nivå. Där delar jag din oro och farhågor. Och det är, definitivt inte, fel att diskutera detta på en konceptuell nivå, fast vi ännu inte har framtidens lösningar klara ännu. Att balansera innovation och säkerhet är avgörande för att vi ska kunna dra nytta av AI:s potential utan att utsätta oss för onödiga risker. Din oro över detta är fullt förståelig och något vi alla måste ta på allvar.*
*De två sista meningarna är ett tillägg som ChatGPT-4o föreslagit.