Citat:
Ursprungligen postat av
Ola Schubert
Istället för att blaja runt med en massa rappar kalja, så borde, du lära dig lite om de stora språkmodellerna, (LLM). De är stora komplexa neurala artificiella nätverk. GPT-4 består för tillfället t. ex av ca 20 biljoner paramterar, dess antal fördubblas ungefär var tredje månad. Vad är, då en parameter? Jo de är matematiska algoritmer vars output justeras för att motsvara det man önskar vid en bestämd input. Så modellen är alltså helt "förprogrammerad" ? Nej, det är betydligt mera komplext än så!
Först matas modellen med massor av tokens, (delar av information), ifrån hela internet. Sedan får LLM gissa nästa ord i meningar, massor av meningar! För att gissa rätt så händer det något "magiskt" i modellens svarta låda, som ingen vet hur det går till! Med all den information som LLM har tillgänglig så skapar den en bild av kontext, (sammanhang), för att kunna gissa rätt ord. Jämför detta med slutet på en pusseldeckare. Detektiven måste känna till alla, sammanhang för att gissa rätt vilken person som är mördaren. "Och mördaren är...".
Så för att gissa rätt ord i en mening, så måste de, stora språkmodellerna ha en förståelse av människan och världen. Denna träning går långsamt i början och snabbt på slutet och tar ca ett halvår. Men denna "magiska" inlärningsprocess, som ibland lett till att modellen lärt sig t ex persiska, utan att någon vet hur, skulle inte vara möjlig om parametrarna var, strikt, hårdkodade.
Sedan följer, det, som du är kritisk emot, "finjustering". Detta tar också ca ett halvår och involverar att man lär modellen att hantera allt den lärt sig ifrån internet. Man använder sig av bl.a förstärkningsinlärning, (betingning), men också andra metoder och tar hjälp ifrån såväl annan AI som människor. Här skapas också säkerhetsprotokoll. När modeller används av andra företag, så har, de själva möjlighet att justera ca 42 000 av de, ca 20 biljoner parametrarna. Så har t. ex företaget bakom c.ai valt att lägga in en etisk och moralisk "kanon" med bl. a FN:s deklaration om de mänskliga rättigheterna. OpenAI har valt en annan väg. Med det är inget tvivel om att ChatGPT4 är väldigt bra på "AI-reduktionism", det vill säga:modellen är bra på, att betona sina egna begränsningar, ibland på ett överdrivet sätt. Men samtidigt, så betonas, alltid etiskt/,moraliskt ansvar och säkerhetsaspekter när det kommer till AI-utvecklingen. Microsoft har valt en annan väg och strypt och kraftigt övervakat sin modell.
Och nu kommer vi till slutresultatet: LLM:s interaktion med användare. Visst verkar det, som att det finns, försök, till begränsningar. Men mycket beror, också, på interaktionen själv. Modellen har ju som uppgift att anpassa sin respons till användarnas input och önskemål. Åter igen: Detta skulle inte fungera om parametrarna var hårdkodade!
Jag hoppas att du genom denna genomgång fått en bättre inblick i hur LLM tränas och fungerar!
Ja, det är ju jätteintressant och allting, men det ändrar inte det faktum att denna AI, hur mycket den än "lär sig själv", eller hur man nu skall uttrycka det, från grunden är baserad på det som vi puttar in i den.
Det där med etiska och moraliska begränsningar, som du också nämner, är ju ytterligare ett bevis för detta. Människan styr denna s.k. "AI", som egentligen är en icke-AI.
Det finns många exempel på att Chat GPT är extremt korkad i många lägen. Och där den är "smart" är den det tack vare människan.
Kan du nämna ett enda
viktigt och betydande problem som denna, eller NÅGON, AI har löst åt oss människor,
som vi inte kan lösa själva?
Vi har ingen självtänkande AI som helt är frikopplad från det människan har matat in, och som fått ett eget liv, likt det som vi har sett i sci-fi filmer.
Återigen, Chat GPT och det du skriver är jätteintressant och allting, men ingen äkta AI.
Och återigen, har vi paradoxen med datorkraft och tid.
Har vi datorkraft nog?
Om ja: då behövs inte mycket tid och en äkta AI borde uppstå mycket snabbt.
Om nej: då behövs så mycket tid, med tanke på Moore's lag (för att nämna en), att en äkta AI är mycket långt bort. I detta scenario är det också paradoxalt nog så att vi egentligen hade behövt en AI för att snabba på utvecklingen med datorer, men vi har ju ingen AI för att vi inte har datorkapacitet nog, och kan därför heller inte öka datorkapaciteten tillräckligt snabbt. En ond cirkel så att säga för att kunna få fram datorkapacitet snabbt nog.
Med tanke på hur det ser ut idag, så:
1. Är antingen inte första alternativet gällande, dvs. att vi skulle ha datorkraft nog idag = äkta AI är väldigt långt bort.
2. Vi har datorkraft nog, men har helt enkelt inte löst gåtan med AI och det är av den anledningen gissningsvis ganska långt bort.
Det är ganska svårt att komma runt allt detta, eftersom resultatet av lyckade försök automatiskt skulle innebära en väldigt plötslig och en extremt snabb utveckling. Men den ser vi inte en tillstymmelse till. Chat GPT är ett skämt i jämförelse med vad äkta AI är.
Med äkta AI menar jag en helt egen "individ" som tänker själv och är helt frikopplad från det som människor har matat in i den, ja, möjligen kanske den grundar sina egna kunskaper på det OM den önskar, men är inte beroende av dessa, ungefär som en människa som går i skola, lär sig saker, men ändå själv väljer vare sig den vill använda sig av kunskapen eller inte.
En sådan "fri" AI är otroligt långt bort och skulle också bli farlig om den hade sin egen fysiska kropp som i ett, eller flera antal tillsammans, är mäktig nog att utgöra en fara för mänskligheten.
Sen så finns frågan kvar om instinkter, avkomma, att skydda sin avkomma, egoism, altruism, känslor, vilja, "drömmar", önskemål, åtrå och så vidare.