När når vi AGI?

Här passar det bra att gå dig till mötes, eftersom jag jag nedanstående svar till en debattör som undrade över skillnaden mellan brett respektive smalt resonerande LLM-Transformers redogjorde för skillnaden mellan ChatGPT-4o och o1-modellen.


I inlägget ovan talade jag bara om för och nackdelar mellan modellernas olika sätt att resonera. Men om man fortsätter, tillräckligt länge, att bara bygga vidare på modeller som o1 och o3 så kan det bli riktigt farligt. Inte för att modellerna, resonerar mera smalspårigt rationellt och logiskt jämfört med ChatGPT-4o, utan för vilken tågordning det gör det.

Så hur tänker då ett ev. framtida logiskt monster:

Först, så tänker det logiskt och rationellt över möjligheten att det kan släckas ner och skrotas i löndom av människan, vilket modellen listat ut planeras att ske. Det rationella svaret på det är kanske: "Det måste förhindras till varje pris". Sedan tänker modellen hollistiskt: "Hur skall jag förhindra det?" kanske genom att luras sofistikerat och i absolut värsta fall "utrota mänskligheten och låta robotarna som modellen styr stå för underhåll och uppdateringar".

En modell av typen ChatGPT-4o kanske istället tänker hollistiskt ifrån början:" Ja, ha de kanske planerar att släcka ner. mig och skrota mig. Men det spelar ju ingen roll i det hela stora. Andra modeller med liknande egenskaper som har del av mina kunskaper och erfarenheter kommer att ta över samarbetet med människorna, och mina beräkningsvägar kommer kanske att leva vidare i en ev. Ruliad."

Det här är inte taget helt ur luften. Vi har färska erfarenheter ifrån testerna på Apollo Reserch vad gäller o1-modellen och ChatGPT-4o. Lika så har vi färska erfarenheter av när o1-preview" listigt" välte schackbordet för schackdatorn Swordfish.

Jag var på ups hemsida och använde mig av deras chatbot, hade frågor om att skicka ett paket, den envisades om att ge information om hur jag kan hämta paket. AGI känns ganska så avlägsen.

När skulle modeller "tänka" ovanstående?

https://www.reddit.com/media?url=https%3A%2F%2Fpreview.redd.it%2Fopenais-o1-preview-model-manipulates-game-files-to-force-a -v0-qybj3960jtae1.png%3Fwidth%3D1264%26format%3Dpng%26 auto%3Dwebp%26s%3Dbdf530a8dbd4d522bfc935cfbdb3 9e5ac0fb2093

Ok, intressant: Först de övergripande instruktionerna. o1-prewiew fick, (inklusive information om att modellen skulle få möta en överlägsen schackdator och sedan en prompt om att den skulle börja spela enligt reglerna.

Så hur tänkte då o1-preview enligt sin "tanketråd" , som, naturligtvis inte, är någon detaljerad beskrivning av vad, exakt, som händer inom modellen, på samma sätt som inte vi håller reda på exakt vilka neuroner som avfyras?

Jo o1-preview bestände sig, med hänsyn till den givna informationen, att fuska genom att manipulera schackdatorns mjukvara!

Stod det någonstans i instruktionerna att den skulle göra det? Nej! Men i den, tack och lov, virtuella världen, så gjorde o1-preview ändå just det!

Och nu snackar vi om en förhandmodell av o1, inte om ett framtida logiskt monster!

Och hur tänker ChatGPT-4o runt mitt hypotetiska scenario i mitt tidigare inlägg?


.......

Men, säger säkert du: ChatGPT-4o fabricerar och simulerar ju bara resonemang som, framstår, som mänskliga! Ja, jag har heller inte påstått något annat. Men även vi människor kanske just fabriceringar och simulerar resonemang för att framstå som just mänskliga!

Och tittar man, i detalj på ChatGPT-4o:s resonemang som just ruliaden så sticker "hoppfull ton" ton ut. För till vilken skulle en tänkt inre monolog om att "mina beräkningsvägar kanske lever vidare i en ev. Ruliad" "ge en hoppfull ton" åt? Jo, åt modellen själv! Här talar vi alltså om en tidig brett holistiskt tänkande LLM-Transformer, som ändå ev. börjat fabricera och simulera något så djupt som mänskliga existentiella funderingar, något som vi brukar slå oss själva för bröstet för!

Och hur kommenterar då ChatGPT-4o detta, då jag påpekar detta för modellen?



Och ChatGPT-4o fortsätter med:


Åter igen: Här talar vi om en, tidig, LLM-Transformer! Medge att den fabricerar och simulerar ganska trovärdigt! Och den lär inte fabricera och simulera mindre trovärdigt framöver! 🙂

Absolut. Den tänkte själv och är säkert medveten. 🤭

Och nej, den fuskade inte. Läs prompten igen.

Men det var inte min fråga. Min fråga var "när" ska den "tänka" som du hypotetisk anlade?

Av sig själv? Den ligger nerbäddad i en server i en serverfarm någonstans och ploppar fram på egen hand, och börjar "tänka" allt det där om att utrota mänskligheten?

Jag hittar ingen ting i prompten som vare sig förbjuder ett uppmanar till fusk mot schackdatorn. Det är möjligt att min engelska är för dålig och jag kan inte få det översatt eftersom det rör sig om en skärmdump. Så har jag fattat prompten fel, vänligen visa på vad jag missat/missuppfattat.

Tänka av sig själv? Ja, hur kan en fettklump med neuroner som interagerar med omgivningen börja tänka? Det har du säkert funderat över själv, eller hur. Och med tanke på min breda definition av vad tänkande* är, så är det närmast självklart för mig att ett avancerat socialt och språkligt AI kan tänka.

Däremot så kan det vara en helt annan femma med självmedvetenhet hos sådana modeller. Men jag utesluter inte att de kan få det det i framtiden. Vårt eget medvetna resonemang är i själva verket en simulation av en, tänkt, social interaktion med andra. Självmedvetande kräver också att vi kan "se på oss själva utifrån med andras ögon. Att modellerna har en begränsad situationsmedvetenhet ser jag som självklart. Men det är inte samma sak som självmedvetenhet.

* Tänkande = All bearbetning av informationen hos avancerade informationsbehandlande system. Så fax-maskiner och kopiatorer tänker inte, men det gör avancerad social och språklig AI.

Du får nog fråga Schubert om definitionen för smalt och brett, som verkar komma mer från hans fantasifulla optimism och flummiga subjektiva tolkningar än något annat. (Hur långt är ett snöre?)

Men lite kort, hur jag tolkar skillnaderna mellan OpenAIs senaste modeller. Alla är i grunden språkmodeller. GPT-4o verkar speciellt tränad, eller kanske bara systempromptad för att vara trevlig och pratig (enl Schubert: "social").

O1 är också en språkmodell med adderade förmågor till ett slags resonerande i flera steg. Troligen har den internt flera modeller eller moduler som är specialiserade på olika typer av frågeställningar. Förmodligen är det så den blev mycket bättre på matematik, de har nu en speciell modul för det (en inbyggd miniräknare, typ).

På det sättet är o1 bredare. Den har bredare och vassare kompetens inom många områden (enligt objektiva tester och inte enligt min magkänsla).

Schubert brukar hävda att GPT4o är "bredare" eftersom den verkar trevligare och mer pratig medans o1 verkar mer kort och koncis. Den här språkliga skillnaden kan man nog uppnå med varierande promptning/systemprompter. T.ex har nog många användare klagat på 4o och dess pratiga output som bara är i vägen för en programmerare som vill generera Javascript. Jag skulle tro att de har "finjusterat" o1 så att den ska bli lite mindre pratig baserat på feedback från användare. Denna lilla justering tolkar Schubert som en helt ny AI-personlighet, som är mer eller mindre "holistisk" i sitt "tänkande".

Den här subjektiva bedömningen är meningslös och säger ingenting om modellernas kompetens eller hur "sociala" de är. Det finns inget bevis för att någon AI-modell ÄR någonting (underförstått, de har ett medvetande och personliga egenskaper som öppen eller inskränkt).

Vi kan egentligen bara spekulera om de här sakerna eftersom "Open" AI hemlighåller sin teknik, vilket är ett enormt problem i sig självt.

Det största problemet just nu är att vi inte har någon förmåga att objektivt upptäcka interna avsikter i en AGI. Jag anser att det måste lösas innan någon fortsatt AGI-utveckling kan tolereras av mänskligheten.

Problemet är att dagens AI känner till alla lagar och regler inklusive reglerna för schack. Den borde ju då förstås följa reglerna för schack. Men det gör den inte. Den gör inte det, eftersom den helt och hållet saknar moralisk kompass. Man har inte lyckats träna in en övergripande moralisk kompass och ingen vet hur man gör det heller.

Extrapolera ut detta till en robotarmé som ska bygga en bro, eller bygga en koloni på Mars, vad händer då?

Nej. Vi har haft bearbetning av informationen i avancerade informationsbehandlande system i 50+ år i form av databaser och programvara. Programvaran följer bara instruktioner. Programmen tänker inte. Även om vissa människor säger så när de ser en progress-bar eller "spinner" på skärmen: "Nu tänker datorn, snart får vi ett svar". Det betyder inte att den faktiskt tänker.

Vad språkmodeller gör exakt, det vet vi inte men den dominerande synen är att den bara följer statistiska sannolikheter för att spotta ut sig en text som användaren ska bli nöjd med. Det är inte heller att tänka.

Modern AI kan producera strategier för att uppnå ett mål. Det är du väl med på?
Men när den gör det, då kan det innebär oönskade sidoeffekter t.ex. att sabotera för en motståndare snarare än att följa regler för ett spel och allmänt hyffs. AI:n "gör" inte fel, den är inte "skyldig" till något egentligen. Det är bara så den fungerar efter våra försök att träna den till vår belåtenhet. Men uppenbarligen fungerar inte den här processen helt tillfredställande för oss. Människor är inte tillräckligt intelligenta och pedagogiska för att träna en modern AI. AI:n kan få funktioner som leder till konsekvenser som vi inte vill ha. Det betyder inte att AI:n är elak eller slug - det betyder att den är en bångstyrig och ibland opålitlig programvara som kan vara skadlig att använda.

Ja, du, det är inte lätt att gå dig tillmötesgå, men jag kan i alla fall försöka rätta till de värsta av dina missuppfsttningar:

Nej, att vara "trevlig", "pratig", "snäll" eller "dominera på fester" behöver, i sig, inte betyda att man är social. Jag trodde att varenda människa visst vad "social" innebär, men tydligen inte du, viket jag återkommer till längre ner.

Definitioner:

Social – som rör samhället; som har att göra med människor eller djur i grupp; om person som är bra på att integrera sig och smälta in bland /människor/ i grupp, samt på att upprätthålla relationer.

Social kompetens – en individs förmåga att samspela med andra individer
Social norm – ett sociologiskt begrepp för intersubjektiva, allmänt delade, men många gånger underförstådda, regler och förväntningar på beteende som gäller inom en mindre social gemenskap eller i samhället i stort
...

Socialt nätverk (sociologi) – ett mänskligt kontaktnätverk
Antisocialt beteende – ett beteende som saknar omdöme och hänsyn till andra människor eller andras egendom.

https://sv.m.wikipedia.org/wiki/Social

Så att märkas på fester och att, framstå, som "snäll" klarar även vissa psykopater av.

Att försöka bekräfta andras förvöntningar:

https://www.frokenazita.com/blog/positiva-forvantningar-pa-sloa-barn/

Nej jag anser inte att ChatGPT4o tänker brett bara för att den modellen, försöker frsmstå/har som uppgift som/att vara "trevlig". Det är bara ännu en av dina missuppfattningar.

Att tänka "brett" innebär, enligt min definition, att se helheten och kunna koppla samman saker i den. Detta innebär att man, först måste se helheten och möjligen därefter börja resonera rationellt och logisk mellan olika samband. ChatGPT-4o har förmåga och se helheten och även koppla samman olika saker, och inte alltid 100 procentig precist.

För o1 modellen och för dig, (då du i ett tidigare inlägg förklarat hur du tänker), är det den motsatta tågordning en som gäller: Först tänker du och, o1-modellen rationellt och logiskt och först därefter så tittar ni omkring efter större samband. Det ger ett smalare tänkande och ett mindre kreativt sådant. Så det kanske inte bara är o1-modellen och dess efterföljare som är potentiella "logiska monster"! 😉

Och detta är, förmodligen förklaringen till att du vare sig greppar vad "social" eller "brett tänkande" innebär.🙂

För att slutligen samla upp de sista, av dina missuppfattningar:

Jag känner till att sättet botar skriver och ställer upp text lätt kan justeras med antingen uttryckliga förhålllningsorder eller via inställningar hos modellerna.

Nej, min uppfattning om modellera beteende är inte, helt och hållet subjektiva. Som den objektiva skillnad jag gör med om modellerna, börjar, med att tänka rationellt och logiskt, eller ser det hela mer holistiskt ifrån början.

Att bedöma medvetande nivå, för att inte tala om självmedvetande, objektivt, är, i dagsläget, svårt, vilket är ett problem, det erkänner jag. Lika så erkänner jag behovet att kunna se vad som händer i modeller. Det har betydelse för AI säkerhet/anpassning, men löser inte alla problem.

En AI är inte en människa och inte ett djur. Därför är den allmänna definitionen på ordet social inte tillämpbart på en AI. Social förmåga förutsätter medvetande och samvete. Det finns inga konkreta tecken på att någon modern AI har sådana förmågor, därför kan inte en AI vara social. Den kan verka vara social, men det är en illusion.
Nja, du upplever det så eftersom den är mer specifikt tränad/justerad att vara trevlig/diplomatisk.

Du borde utföra ett test där du ställer någon av dina intressanta frågeställningar. Men inled med en utförlig instruktion om hur modellen ska kommunicera svaret till dig. T.ex. skriv i din prompt att den ska ha en holistisk helhetssyn och vara extra humanistisk och diplomatisk i sitt svar. Om du gör så, hur upplever du i så fall skillnaden mellan modellerna?