Skulle en framtida AI ens i teorin kunna förbättra sig själv?

Det är en magic 8 ball som du kan ställa frågor till och få någon form av svar tillbaka... varken mer eller mindre.

Den gör löjliga faktafel i nästan vad som helst man frågar den om också, den som förlitar sig på ChatGPT kommer förr eller senare råka ut för något väldigt pinsamt och sedan stå till svars för det. Det är en leksak och inget annat.

Jag missförstår ingenting, jag vet vad dessa modeller tränas på och varför och det är helt och hållet medvetet och explicit skräddarsytt för att ge illusionen av en tänkande maskin, det är inget som bara uppstår för den matas med data. Det är vad en grund tränad modell är och de är helt och hållet oförmögna att hålla någon som helst konversation.
Precis som modeller som tränas för instruktioner är värdelösa att konversera eller modeller som tränas för chattande är värdelösa att följa instruktioner osv.

Det är algoritmer som är mönstermatchare och de gör precis det, de försöker matcha och bete sig som de mönster de tränats på.

Det resonerar inte mer än vad dess träningsdata gjorde, det finns ingen språkmodell någonsin som utvecklat resonemang av sig självt utan att blivit matad med ofantliga mängder av exempel på resonemang.
Det är ingen inneboende egenskap i modellen eller algoritmen och definitivt inget som bara "uppstår" med data som är vad tokstollarna som försöker framhäva emergenta egenskaper påstår.


Jag säger inte förståelse kan definieras, jag säger att förståelse är en tolkning där du antingen ser hur modellen fungerar eller så bortser du från det och enbart tittar på resultatet, väljer du att blunda för det faktum att det enbart är en förutsägelse algoritm så kan resultatet se ut som om det pågår resonemang och förnuftighet under ytan.

Förstår du vad det faktiskt gör så inser du att den lilla uns av förståelse som modeller ser ut att frambringa kommer som ett direkt resultat av attention viktar tokens i kontext.

På samma sätt kan du se en miniräknare som magi och välja att tolka det som att det sitter en liten gubbe där inne och räknar på sin kulram sedan presenterar resultatet till dig, men en stor majoritet skulle motsäga sig detta trots de inte har en jävla aning om hur en miniräknare faktiskt fungerar medans ironiskt nog kreti och pleti saknar helt förståelse för grundläggande sannolikhetslära som är 100% vad språkmodellerna bygger på och säger att de är tänkande och förstående och som argument försöker de påvisa vad de blivit intutade av andra att ingen förstår hur språkmodeller eller stora neurala nätverk fungerar, vilket är helt felaktigt.


Varför skulle det göra det? Sa inte du att du jobbade med CNNs, har något av dessa börjat resonera med dig? Har det börjat visa avvikande beteende-annat än overfitting... för du tränat det med mer data? Det finns ingen magi här, det är marknadsföringstrick och ballongen börjar brista, det kommer inte gå att hävda att "vi bara behöver mer data och mer beräkningskapacitet" allt för länge in i framtiden innan nuvarande teknologi måste omvärderas, det är liksom inte hållbart att kasta pengar och energi på något som inte fungerar som det ska... Det är darwins lag.


Nyttan med BLIT var att det var ett 90 tals försök (och jag tog det som exempel eftersom det är väl dokumenterat och varenda språkmodell bör ha sett tusentals exempel på detta) att undvika aliasing för analoga vågor i en digital miljö, det är varken den senaste eller bästa tekniken för detta.
Det var också varför jag sa du kunde be den om minBlep sen, för jag förstod (och har testat detta tidigare) att den inte skulle lyckas med ens BLIT och minBlep är en vidareutveckling av BLIT, dvs BLEP (Bandwidth Limited stEP) och minBlep är vidare utvecklingen av BLEP. Det finns massvis med information på nätet om hur detta fungerar om du är intresserad, allt detta är sådant som funnits i ungefär 20 år och vare sig det senaste eller nya heta.
Vill du prova något som däremot är svårare som också ChatGPT kommer misslyckas totalt med är det att skriva ett topologipreserverande digitalt filter eller ZDF (Zero Delay Feedback) filter som den i alla fall de gånger jag frågat antingen kastat ur sig ett naivt biquad filter som totalt avsaknar de egenskaper som ZDF ger och är anledningen till användandet av det eller så kommer den total vägra.

ChatGPT vet helt enkelt inte vad den håller på med, resultatet är inte rätt för det är inte hur en BLIT ser ut, fungerar eller konstrueras... Det var ingen som efterfrågade en sågtands oscillator.

Magic 8-ball-liknelsen haltar, därför att det tillför 0 informationsmängd, medan ChatGPT har passerat gränsen för att bara vara en leksak. Rätt använd kan den redan effektivisera vårt arbete något, eller höja kvaliteten i det vi leverar något.

Den första tillämpningen för LLM:s var Google translate. Den gjorde ofta löjliga fel inledningsvis, och i början kom regler mot maskinöversatt text, t.ex. på Wikipedia, men idag kräver den allt mindre handpåläggning. Har du principer mot att använda Google translate såväl som ChatGPT?

ChatGPT är idag som Wikipedia var de första 4 åren - då kunde användning av Wikipedia ganska ofta ge riktiga pinsamma felaktigheter, men Wikipedias fel är mer ovanliga idag. Idag avänder studenter ofta ChatGPT i sina självstudier, som språkhjälpmedel eller för att testa om de har rätt, men de är rätt skeptiska till att citera ideer och kod som ChatGPT har föreslagit i examinerande texter, t.ex. exjobbsrapporter, både för att de är rädda för fuskanklagelser, för att de ser det som en dålig vana och för att de inte litar på den, och om de använder den så testar och verifierar de i allmänhet allt, försöker skapa en egen förståelse och gör ChatGPT:s svar till sina egna - och förhoppningsvis redovisar de användningen på ett transparent sätt. Men problemet är att snart kommer ChatGPT:s fel vara så ovanliga att folk blir mer naiva.

Att använda ChatGPT i sitt arbete är som att ta med en praktikant i utvecklingsteamet, som redan kan generera användbara idéer, men som också gör många misstag, och behöver mycket handledning och kvalitetskontroll. För att resultatet ska bli användbart måste någon guida praktikanten att steg för steg bryta upp uppgiften i många små delar. En konsultfirma skulle inte låta praktikanten få träffa deras kunder själv. Jag är som en chef som tror att praktikanten är på tillväxt och har potential att en dag få leda projekt och kanske bli företagets chefsingenjör. Du är som en chef som inte tror på praktikantens framtid.

Du försöker formulera någon form av övre gräns för hur mycket ChatGPT kan förbättras. Dvs du beskriver den ungefär som att Internet en gång beskrevs som en tillfällig fluga. Du säger att den inte kan skapa något nytt genom att kombinera gamla saker. Och jag menar att det är just att kombinera kunskap från olika källor som den har utsatts för som gör den så överraskande bra. Den kan redan idag generalisera (interpolera eller extrapolera) svar från flera olika källor, och därmed kan den besvara frågor som den inte explicit har tränats med. Alltså kan den skapa ny kunskap och föreslå nya idéer.

Men. Innovationshöjden är än så länge inte så imponerande. Ingen söker patent eller publicerar en forskningsartikel enbart baserat på på en ide man bara kom på i duschen på morgonen, och chatgpt kommer hittills bara på såna idéer. Innan man söker patent krävs omfattande experiment, undersökningsresultat och planering. Chatgpt skulle behöva bli mer självständig i att föreslå och utveckla stora datorsimuleringar, stora experiment eller en serie enkätundersökningar för att formulera och testa hypoteser eller designa och vidareutveckla en produktidé till en komplett produktprototyp.

Knappast med den teknik det är idag.


För transformers ja, det är därför det är så löjligt att prata om emergenta fenomen när dessa är helt och hållet avsiktliga.
Sen cirkulerar det rykten och påhitt om språkmodeller som på egen hand lärt sig skriva på andra språk, vilket vid granskning fallit fullständigt då det visat sig att träningsdatan faktiskt innehållet det språket.


Nej ChatGPT är en leksak, hela algoritmen är en leksak. Sedan efter konstrueras massa förklaringar och påståenden om att det fungerar likt hur mänskliga hjärnan fungerar, det är bluff och båg.
Det är precis som att folk på 1600 talet sa att Newtons ekvationer reflekterade verkligheten... förutom i de fall det inte gjorde det.

Och det är det som irriterar mig mest med deep learning... För man försöker intala folk att det fungerar på ett sätt som det inte gör, det bygger helt på att det artificiella neurala nätverket ska ses som en svartlåda och vara en universell funktions approximerare, nyckeln ligger i ordet approximering. Man tränar nätverken med att ge exempel utdata på en given indata och förhoppningen är att nätverket ska utföra kurvanpassning och interpolera kurvan (som är mångdimensionell) utifrån tränings exemplen. Nätverken i sig har inget gemensamt med hjärnan annat än att de är sammankopplade.

Det är inte ett dugg närmare verkligheten än ett tellurium är att förklarar tyngdkraften och inser man där med inte att tekniken har helt fel angreppsätt så kommer man kunna spendera mycket resurser på det som helst, man kan silvertejpa fast olika kompensationsmetoder för att försöka ytterligare dölja det faktum att i grund och botten är det inget annat än en viktad slumpgenerator som är vad så många luras av... Och det roligaste är att de verkligen inte vill vara lurade, så därför drar de till med sina egna teorier om varför, hur och hur tekniken kan utvecklas framåt.

Jag har sagt det från det första inlägg jag gjorde i den här sektionen av flashback, Det är inget annat än glorifierade n-gram markovkedja, bara implementerade med artificiella neurala nätverk eftersom en markovkedja skulle ta astronomiska mängder minne.


Nej det har inte ett dugg med att göra som att ha en praktikant/nyanställd/junior, det är snarare totala motsatsen modeller som ChatGPT skriver som om de kan allt, men när man börjar granska vad de faktiskt presterar så är det sällan rätt eller ens användbart.

Jag gav dig tom ett exempel, där den totalt gör bort sig trots den påstår att den följt instruktionerna- och någon oinsatt köper det rakt av för det ser ut att vara ok men det gör inte ett dugg av vad det borde.

Hur tror du det fungerar om säg en anställd skulle använda ChatGPT för att implementera en given autentisering mekanism i en applikation? som exempel, helt löftet med AI är att den ska vara bättre än människan, inte att man ska behöva tillrättavisa och korrigera vad den spottar ut sig, det finns ingen som helst vinst i att ha en teknik som spottar ur sig massvis med felaktiga lösningar snabbt om man ändå måste lägga tid och dessutom senior tid på att granska, korrigera och göra om något.

Samma resonemang gäller väl många människor? Man bara rapar upp det man lärt sig utan att komma med något eget.

Förr i tiden talade man om ”förlästa bokmalar” som inte visste något om världen. Språkmodeller verkar vara det ultimata exemplet på detta.

Hade det varit så hade språkmodellerna varit användbara för fakta sökning, undervisning osv. Men det är precis det som de inte är bra på eftersom de inte pålitligt kan "rapa upp" det de lärt sig.