LLM för nybörjare

Här följer en föreläsning som inte alls är tekniskt och som, ytterst förenklat, beskriver machinlearning och Lage Language's Modells. Den spelades in i december i år. Men eftersom föreläsaren talar om GPT-3 så trodde jag ett tag att den var inspelad i december 2022. Hur som helst så ger denna föreläsning en bred översikt av ämnet som lämpar sig speciellt bra för dig som kommer till detta forum utan att veta ett dugg om ML och LLM.

https://youtu.be/b76gsOSkHB4?si=xr9xWA7oIHPpWqQT

Att diskutera:

Vilka insikter ger denna föreläsning?

Är föreläsaren för pessimistisk eller en realist?

Vi blev överraskade över de "oväntade" förmågor som, enligt föreläsaren, uppkom bara genom att skala upp modellerna, mata dem med gigantiska mängder data och tillhandahålla enorm beräkningskapacitet. Är det slut på överraskningar nu eller kommer vi att på nytt bli överraskande?

Föreläsaren är benhård vad gäller möjligheten att skapa medvetna LLM:s. Är han för pessimistisk eller realist?

Hur skall vi se på begreppet Artificiell General Intelligence, (AGI)? Vad skall gränsen dras?

Föreläsaren nämner inget specifikt om säkerhets problem förutom om de bristfälliga säkerhetsramar som man försöker implementera hos modellerna, och absolut ingenting om "The alligement problem". Har det att göra med att han inte se LLM:s som mera än väldigt utvecklade "autokorrekt/ordförslag maskiner?

Lycka till med din resa för att förstå vad LLM är!

(Jag instämmer inte nödvändigtvis med allt vad föreläsaren säger. Jag tycker han är lite väl pessimistisk och lite väl slarvigt svepande när det kommer till LLM:s förmågor och i sin beskrivning av medvetandet.)

Mike Wooldridge (som föreläsaren heter) är en världsledande AI forskare, han vet definitivt vad han pratar om.

Bra länk. Och bra föreläsning som många behöver titta på.

Håller med om det mesta som sägs. Och tycker att det är jättebra att han beskriver de olika kognitiva förmågorna som är inblandade under delen "Dimensions of general intelligence", även om jag saknar några förmågor som är centrala (förmågor som intuition, nyfikenhet, att drömma och fantisera etc)

Och bara för att följa TS eminenta exempel med bra video om AI, så vill jag ge lite tips om bra videos om nyare förklaringar gällande medvetande, var det finns och varför det fyller en funktion. Med dessa i bagaget kanske det blir lättare att diskutera medvetande i AI (eller snarare varför vi i dagsläget kan glömma hela frågan)

https://www.youtube.com/watch?v=0a3x...hannel=TheWell
https://www.youtube.com/watch?v=DQy9...ognitives-UQAM
https://www.youtube.com/watch?v=tOtd...nel=LexFridman
https://www.youtube.com/watch?v=iRqT...heRationalView
https://www.youtube.com/watch?v=TYH2...ognitives-UQAM

Jag såg det första klippet som både var intressant och lättillgängligt. Det verkar ju logiskt att "medvetande"/"intelligens" kan fungera olika komplext och på olika nivåer hos en organism., där t. ex celler, ursprungligen, levde ett självständigt liv. Jag gillar pattmasken som får sitt huvud bortsprängt i en lösning men sedan kan få ett nytt huvud att växa ut, som tål lösningen, genom att på ett okänt sätt väljs ut det delar av dess DNA som kan lösa problemet. Tilläggas att vår gemensamma anfader med bläckfiskar är just en plattmask. Bläckfiskar är mycket intelligenta, (jag gissar på en katts nivå),, men är helt annorlunda uppbyggda än vad vi är.

Men när det kommer till intelligens och medvetande hos AI så hoppas jag att du ändå har fel. Jag vill inte att vi blir stående med ett "logiskt monster" som av ren inkompetens missförstår våra intentioner. Jag utesluter därför inte framtida såväl intelligens som medvetande hos framtida AI. Men samtidigt så erkänner jag styrkan i din argumentering.

Har du redan glömt att du startade detta inlägg för några dagar sedan?

(FB) Q* OpenAI:s AGI?

Och givetvis är inte GPT3 och Q* det enda som pågår inom AI-området. Detta bör du också ha koll på vid det här laget.

Men nu väljer du plötsligt att rikta strålkastaren ett år bakåt i tiden? Du är verkligen livrädd, eller hur? Varför skulle du annars ägna dig åt att presentera dessa halmgubbar och dimridåer?

En högt medveten AI blir inte nödvändigtvis snäll mot människor. Det finns en stor risk för att det blir precis tvärtom. Medvetande är inte bara associerat med empati utan också med överlevnad och egoism. Vilket för alla livsformer vi känner till är mycket mer tongivande för livsformens beteende än empati mot konkurrerande arter. En AGI kommer inte att vara en del av arten homo sapiens, det hoppas jag att du förstår.

Det coola med plattmasken, om man tittar lite mer på Michael Levins experiment, är inte bara att huvudet växer ut igen. Eventuella minnen masken hade innan huvudet klipptes av finns kvar….

Den enda slutsats jag kan dra från det är att frågan om minnen och medvetande inte kan reduceras/isoleras till neurala nätverk eller synapser.

Jag utesluter inte heller framtida intelligens eller medvetande i artificiella system. Tvärtom så tror jag att det är ofrånkomligt. Men jag tror att det ligger otroligt långt fram, att det måste utvecklas evolutionärt och att vi först måste förstå hur det uppkommer i biologiskt liv innan vi kan skapa det på artificiell väg.

Tills dess kommer vi däremot få nöjet att uppskatta artificiella kognitiva kopior som blir bättre och bättre på att härma och lura oss. Inte illa det heller. Och med såväl digitala som fysiska agenter med naturligt språk som gränssnitt kommer världen förändras något oerhört ändå. Intressantare vore kanske att prata om den framtiden, eftersom den iaf ligger inom det närmaste seklet. Och är något vi troligen kommer att få uppleva.

Mycket inspirerande! En man med väldigt mycket kunskap kring ämnet, imponerande!

Tack, uppskattat!

Mike Wooldridge föreläser även har med gäster och experiment personer för en publik som främst består av barn.

Det som överraskar mig är att våra neuroner, inte alls, avfyra med olika styrka. När rätt potential byggt upp så avfyrar de med olika hastighet. Dvs en viss likhet hur parametrar arbetar i ett Artificiellt Neuralt Nätverk, (ANN) . Även fast jag kände till det tidigare så är det ändå imponerande hur LLM håller reda på förhållandet mellan olika ord i, typ, tusen olika dimensioner. Lika så kände jag till hur olika ord befinner sig på samma "plats i planet" i modellernas meningsrymd även mellan olika mänskliga språk. Detta kanske även kan tänkas gälla djurs språk!

https://youtu.be/l0gZAlZgI34?si=I1Z23XFAuA8SFcEh

(Klippet hakar upp sig några gånger)

Det är väldigt hur ANNs fungerar, för ANNs (undantaget SNNs som fortfarande är på experiment stadie) gör precis motsatsen till vad du säger de avfyrar med ”styrka”.
Och ja hjärnan fungerar inte så utan det kommunicerar med frekventa pulser där både mönster och frekvens spelar roll, så det är mer som morse.

Och det här med ords plats i planet, det har sagts om och om igen här och det är en biprodukt av deras position i meningar, det stämmer inte att det gäller mellan alla mänskliga språk utan enbart mänskliga språk som är grammatiskt relaterade och det är återigen den egenskapen som gjordes att tekniken/transformers utvecklades, det var avsett för att förbättra maskinöversättning mellan språk.