När når vi AGI?

Eftersom jag anser att supeintelligent AGI har en möjlig potential att hota hela mänskligheten, och att ingen idag levande människa har en chans att förutse hur något vi aldrig uppfunnit tidigare kommer att agera, anser jag att förnekandet av dess förmåga eller möjliga framtida existens är både fel och farligt.

Och att just detta ofta missuppfattas, ja det är vi helt överens om.

Att inte förklara för en dietist, barn eller luftarian att det är farligt och man dör om man inte äter något alls, trots att luftarianen förnekar detta, vore ohederligt och bedrägligt, även om den drabbade riskerar att känna sig förolämpad i sin tro.

Jag tror många som tycker detta är lite obehagligt också känner sig ganska oförmögna att göra något åt saken. Dom har blivit itutade att livet går ut på att jobba och tjäna pengar, dom har lärt sina barn samma sak. Och helt plötsligt säger världens rikaste och mest innovativa personer att om några år så är pengar värdelösa. Vi har uppfunnit en maskin som ska ta över befälet här på jorden. Det kommer inte finnas behov för arbete längre…
Även om jag förstår möjligheterna här så vet jag också en och annan som blir riktigt rädda. Och det är inte deras fel. Det är så dom har blivit uppfostrade.

Ja, evolution kan vara något annat än biologiskt.

Ja, mycket.

Nej, det stämmer inte. T ex tränas dom helt olika.
Det finns i stort sett inga likheter.

Ditt resonemang är ungefär på nivån att två datorprogram är samma bara för att de har if-satser i sig.


Någon form av egenskaps eller kvalitetsskillnad som kan mätas objektivt och där det finns resultatkriterier som avgör objektivt om något är bättre.

För att återgå till kvadratrots-nätet. (Du och cyborgaren verkar vara paniskt livrädda för det. Kanske för att det är så konkret att det blir svårt att flumma).

Du tränar det, men har ett fel på 10% i träningsdatat.
Då kommer nätet att leverera fel med 10%. Oavsett hur mycket du tränar.
Du kan träna i det oändliga, men felet kommer inte minska.

Det här förstår inte du och cyborgaren av någon anledning.

Ni när en fantasi om att ni kan få ut något som är "bättre".


Nej. Det handlar bara om att språkmodellen kombinerat lagrad data på ett sätt som ingen annan spenderat tid och möda på.

Ungefär som att du ber kvadratrotsnätet ge en rot ingen har brytt sig om tidigare.


Delvis är det så. Men delvis ägnar sig hjärnan åt reinforcement learning. T ex för att läsa sig krypa och gå osv.
Men visst är det så att många människor spenderar den vakna tiden med känslostyrt pyssel och prat. Och det kan liknas vid en språkmodell.

Vissa utbildningar tränar eleverna på förståelse. Och vissa yrken gör också det.
Så det går inte säga att ingen människa har förståelse.


Med förståelse menas att man har viss nödvändig data och kan utföra logiska operationer på den och komma till slutsatser.
(Notera att i svenskan används också förståelse på sådant som är inlärt. Men det var inte riktigt det jag avsåg).

T ex har en språkmodell reglerna för schack. Men klarar inte av att tillämpa de. Den förstår inte.

AlphaZero har inte heller förståelse. Den tänker inte ut några drag. Den väljer mellan drag som en programsnutt levererat till den.

Du försöker hävda saker du saknar kunskap om.

Nja, alla kan inse att man får låg att arbeta om man skall få sig mat mm. Det upplevs av nästan alla som en fördel att ha stor inkomst iom att det medger stor spendering.

Det en del kan uppleva som osäkert och obehagligt är att alla skall hamna på samma bidragsnivå. Dom har så att säga arbetat sig till någon mer/bättre än bidragstagarna.

Medan bidragstagarna är lyriska för dom ser att alla som har det bättre än dom skall dras ned på deras nivå. (Ren illvilja/missunsamhet).

Detta är vad du observerar yttringar av.


Det har inget med uppfostran att göra. Det har med grundläggande nedärvda känslor att göra.

Är det någon större skillnad på uppfostran och nedärvda känslor då?

Ett barn som föds har ju ingen som helst idé om att man måste göra någon som helst materialistisk karriär. Det tutar ju föräldrarna i den stackars parveln genom att ge den en massa leksaker mm. Det hela började säkert också som en tanke nån gång för länge sedan när vi började forma strukturerade samhällen. Och på det viset våra samhällen har utvecklat sig till städer med allsköns infrastruktur så tycker jag i alla fall att AI ser up som en kristallisering av den utvecklingen. Ta en titt på en stad sett från ett flygplan och jämför det med hur ett kretskort ser ut.
Men hela den utvecklingen ör ju riktad utåt, astronomisk och mikroskopiskt. Medans den mentala sidan av våran existens, det vi kallar sinnet eller medvetandet, verkar ha en betydligt större betydelse för vår upplevelse än det förefaller. Åtminstone tycker jag det verkar vara på det viset.
Vi utgår liksom ifrån att kunskap ska komma till oss utifrån, i någon form av information. Den våta drömmen verkar vara att bara kunna ställa en fråga och få ett svar.

Du avser träningsdata med 10% fel och ett nätverk som specifikt tränas på att återskapa detta fel.

Det är inte vad jag avser, även om du självklart har helt rätt utgående från det begränsade exempel du beskriver.

Det jag avser är mer i linje med detta:
https://deepmind.google/blog/ai-solves-imo-problems-at-silver-medal-level/

"AlphaZero har inte heller förståelse. Den tänker inte ut några drag. Den väljer mellan drag som en programsnutt levererat till den."
Din beskrivning stämmer inte med den som anges på Wikipedia:

Om du kallar neural networks för "programsnutt", då gör inte människan något mer än att välja från en programsnutt när den enligt dig "förstår", ett begrepp som du fortfarande inte visat hur man mäter eller observerar för att avgöra om människa eller maskin förstår eller inte.

Och visst, begränsar du dig till ett statiskt neuronnät som ska tränas på att återskapa 10% fel eller att approximera kvadratrötter utan genetisk programmering eller andra metoder att lösa problemet än ett statiskt enkelt neuronnät, då är vi helt överens att det inte blir bättre än träningsdata och bara ger dåliga approximationer till kvadratrötter.

Men det är inte vad tråden handlar om, tråden handlar om vilka system som har potentialen att uppfylla AGI och superintelligens om de designas om och vidareutvecklas.

Just nu närmar vi oss punkten då AI själv skriver en allt större andel av den kod den själv består av, och det innebär något helt annat än att begränsa sig till att bara approximera kvadratrötter med enkla statiska neuronnät eller att ha målsättningen att återupprepa uppenbara fel i träningsdata.

Du förstår väl att du är fysikalist och ren skär materialist som anser allt är beräkningsbart och ingår i en verkligehet som är simulerad och deterministisk. Du gör ingen skillnad mellan biologi och teknologi samt ignorerar fenomenalitet till förmån för endast funktion. Kan det vara så att detta är felaktigt? Ja de flesta hävdar så utom rabiata fysiker och naiva datavetare som ges allt för stort utrymme för tolkningar. Du läser och ser kanske också på populär vetenskapliga magasin som predikar denna scientism. Det ska bli roligt om några år när man inte har kommit någonvart och börjar ge upp dessa ideer.

Du försöker diskutera sakfrågan utan att kunna definera eller förklara de begrepp du använder, när du avslöjas med detta retirerar du till ad hominem av typen "dum snopp".

Och nu introducerar du ännu ett omätbart flumbegrepp "fenomenalitet"

Klart jag gör skillnad på teknologi och biologi. Det intressanta är att ingen kunnat visa hur man mäter skillnad i den specifika förmågan att "förstå" mellan teknisk AI och biologisk människa. Den skillnaden är så religiöst helig att den inte får ifrågasättas även om den inte har ett enda belägg.

Men zigge lille du är ju helt odiskuterbar med dina löjliga definitioner. Tror du existensen är helt absolut och definierbar kanske. Om det är autism i bakgrunden så har du min medkänsla.

Du besitter filosofikunnighet vilket gör inläggen läsvärda och intressanta. Men du hyser ett förakt mot vetenskap och oss datavetare. Jag funderar på om du verkligen har testat AI:s förmåga att resonera.

Jag själv har stort förtroende för naturvetenskapens metoder, men inser att den har en begränsad räckvidd enligt demarkationsproblemet, så jag är inte för rabiat scientism. Hittills har naturvetenskapens kvantitativa metoder varit enormt framgångsrika inom natur, teknik ch medicin. Men de är mer skakiga inom samhällsvetenskap och beteendevetenskap. Och de kan inte besvara frågor om vad som är rätt och fel, om Gud finns, vad medvetande är, om vi har en själ med evighetsnatur, eller varifrån naturlagarna kommer. För sådana frågor vänder sig folk till religion, filosofi och humaniorans tolkande (kvalitativa) metoder, men de kan inte heller besvara alla dem. Filosofins metoder är särskilt oanvändbara där kvantitativa metoder är giltiga. De har olika spelplaner. Därför tror jag på så kallad kritisk realism, som förespråkar olika metoder för olika frågor.

Frågan här är om AI:ns risker och möjligheter för mänskligheten, dess eventuella förståelse, möjlighet att utveckla medvetande, överlevnadsinstinkt och egen vilja, är inom räckvidden för naturvetenskapens eller filosofins metoder. I detta fall behövs båda. Vi behöver datavetenskapen för att utveckla hårda tekniska spärrar (guardrails), och filosofin (inklusive etiken) för att förstå hur dessa system interagerar med mänskliga normer.

Vi är överens om att dagens AI saknar fenomenalitet (subjektiv upplevelse), men den uppvisar en emergent, funktionell förståelse och förmåga att resonera och följa instruktioner som uppstår via både matematisk optimering och träning. Om AGI kräver medvetande och fenomenalitet är vi väldigt långt borta. Men definieras AGI funktionellt, som ett system som löser de flesta intellektuella uppgifter bättre än en människa, kan vi nå dit långt innan vi har löst det "hårda problemet" om medvetandet. De största riskerna med en framtida AGI handlar inte om att maskinen får en "mystisk vilja" utan om instrumentell konvergens: att ett superkompetent men normativt blint system hittar logiska och farliga genvägar för att maximera sina givna mål. Att avfärda den risken som science fiction är att blunda för både datavetenskap och praktisk filosofi. Intellektuell hederlighet innebär att vi är öppna för AI:s risker och möjligheter.

Hur vet du inte att jag är ingenjör och datavetare i grunden? Är du så fixerad vid ADB och ordbehandling så kommer du aldrig vilja förstå varför CHATmodeller inte är intelligens mer än godtyckliga algoritmer för text. Du säger ändå att du inte tror på mysticism. Nej men alltså AI var mest tänkt som kausala system med IRLmodeller innan transformers kom och kommer så åter förbli i framtiden när LLM hypen du dragits med i lagt sig.

ADB var ett aktuellt begrepp på 1960- till 1980-talet. Var du i farten då inom datavetenskapen?

Jag är öppen för mystiska eller holistiska förklaringar av medvetandet och annat men hittills har jag inte hört någon sådan förklaring som har någon substans eller förklaringskraft. Emergens är mer begripligt. Men försök gärna övertyga mig.