Stora språkmodeller - Teknik och Utveckling

2023-12-03, 08:43 #49

Medlem

Reg: Aug 2023

Inlägg: 701

En väldigt förenklad förklaring är att det fungerar så här.

1. Användaren skriver in text
2. Texten tokenizeras (av en vanlig algorithm, tokenisering är alltså att texten delas upp i mindre delar, tex alla mellanslag tas bort "Detta är min mening" skulle kunna resultera i att den delar upp meningen (i programmeringstermer heter det en sträng, till substrängar) "Detta", "är", "min", "mening" sedan slår den upp varje ord i en tabell som innehåller ett numeriskt id (det finns oftast id's för separatorer, start/slut på mening, okända tokens osv också), denna tabell skapas som ett försteg innan man börjar tränar modellen baserat på frekvensanalys utifrån all data man har och exakt hur många och vilka som får ID:n beror på hur stort man vill göra vokabulär osv men låt anta att det redan finns nu..)
3. token sekvensen är nu alltså siffror tex 5,3,2,6 (för sekvensen ovan)
4. Nu positions encodar man och word embeddar sekvensen (detta är vad som kopplar token till vektor representationen)
5. Först nu kommer Transformern in i bilden, token strömmen skickas in till transformern.
6. Varje attention huvud på sitt underliggande "token" (egentligen representationen) för beräknas hur viktiga kringliggande tokens är, detta mer avancerat än det är men vad det egentligen gör är att det fungerar som ett filter. (Det lilla nätverket som vad du frågade om finns här för att vikta filtreringen, det tränas också vid träning av modellen)
7. Resultatet från attention huvudena summeras och skickas genom det stora FNN för att få ut nästa vektor.
8. Och tillslut passas det genom en dekoder för att få det förutspådda tokenet och tillslist så slås token mot tabellen för att få ut vad det motsvarar i mänskligtext

Citera

2023-12-03, 10:04 #50

Medlem

Reg: Sep 2003

Inlägg: 24 888

Citat:

Ursprungligen postat av BeneathTheSurface

Nu har jag sett denna från början till slut, ganska bra och objektiv summering.

Personligen tillhör jag kategorin som de i videon som anser att språkmodellerna är "en spegelbild" av mänsklig kognition och det har inget med att jag inte skulle tro att vi kan artificiellt skapa "riktig" AGI utan för att det är fel teknik för det.

Och sen det med statistik är ytterligare en sak som talar emot att det är rätt väg i mitt tycke (det är liknande med kvantmekanik som också bygger på statistik, men för mig instinktivt tror jag det mycket mer är en "workaround" för man inte ännu förstår det jag tror tex Broglie–Bohm är mer rätt (som bygger på att kvantmekanik är deterministisk) än den nuvarande Köpenhamns tolkningen (Men jag är ingen kvantforskare så jag spekulerar så klart enbart utifrån vad jag läst om ämnet för sådär 20 år sedan och använder detta som analogi, men för mig är det bara principiellt fel med det menar jag i stort sett all matematik inom de områden vi "förstår"- är deterministisk och vet vi bara alla parametrar så kan vi deterministisk räkna ut det.)

Statistik är en metodik för att visualisera, analysera och presentera trender, "det stämmer" i stort men det stämmer inte för detalj analyser, jag menar om du frågar 1000 slumpmässigt valda personer från alla etniciteter, åldrar, kön osv vad de föredrar pepsi eller kola kommer du få ett definitivt svar att N% föredrar det ena eller det andra, frågar du en slumpvist vald person så har du ingen aning utan kan bara gissa vad som är mest sannolikt att denna kommer svara, men det kan vara helt fel gång efter gång det enda du vet är att om du frågar tillräckligt många kommer det absoluta svaret du fick resultera i vad din statistiska mätning gjorde, och det enda sätt du kommer få ett korrekt värde då är om du antar att varje person du frågar skulle gilla den mest sannolika produkten gång på gång.

Språkmodellerna bygger på detta, men det är också varför de hallucinerar- statistik är inte rätt varje gång (som i exemplet ovan) och man har ingen lösning på detta i den grundläggande tekniken utan det man försöker göra för att mitigera det (vilket fungerar till viss del) är att träna på mer och mer data för att sannolikheten att den väljer fel ord (och börjar sladda i väg på något helt annat än vad den började skriva om) ska bli mindre i det stora hela men det löser fortfarande inte det lokala problemet som jag försökte illustrera ovan, det spelar liksom ingen roll om modellen väljer rätt token/ord i 85% av användningstillfällena gör den inte det 100% är den inte pålitlig och kan inte lämnas till en autonom uppgift utan ytterligare steg, men människor gör också fel så klart men det är betydligt lägre felmarginal än så och speciellt om de är erfarna inom uppgiften, det är som om en kock skulle hugga sig i fingret var 85:te morot han skivade.

Sen att det går använda tekniken som den är, är en helt annan sak, men jag tror personligen det är en illusion som fångar och reflekterar tankegångarna i människors uttryck och det absolut starkaste argumentet för detta är att tekniken fungerar inte på tex video eller bilder, de lär sig inte hur världen fungerar då, vilket de påstås göra utifrån texter de läst (något jag betvivlar också eftersom liknande det papper du publicerat har jag också gjort egna experiment med egen påhittade exempel där kuber osv man beskriver ska roteras och det ger nästan aldrig rätt svar och hittills har jag aldrig fått GPT-4 att kunna berätta samtliga sidor korrekt, alltså den kan tex ha fått "framsidan" rätt om jag frågat om det men om jag sedan frågar "vilket nummer är på undersidan/baksidan/osv?" så blir det fel varje gång och det indikerar för mig att de inte har någon rumslig uppfattning alls.

Det är en intressant utveckling oavsett och den kommer fortsätta i någon mån tills den dag vi skapat en riktig AGI/ASI. Det är hela syftet med datorvetenskapen att automatisera uppgifter.

-
Tillägg
Sen det här med tex multipla modeller som ChatGPT 4 nu är där du har GPT-V, GPT-4 och DALL-E i samma "modell" är också en illusion, GPT-V och GPT-4 kan vara rent tekniskt en och samma modell (men jag har hört motsatsen från folk jag litar på) DALL-E ÄR helt egen modell, det är inte ens någon hemlighet.

Men det ger också "illusionen" om att tekniken är längre gången än den faktiskt är.
Som tex illustreras av denna kemist, https://x.com/leecronin/status/1730496943074242636?s=20
Den har som sagt inte en susning vad den håller på med.

Tack för din utläggning! Jag befinner mig någonstans mitt i en triangel där hörnen är Alarmister, skeptiker och extrema tekniknördar/överoptimister. Det gör att jag kan ta till mig argument ifrån alla sidor, vilket är en intressant resa för mig. (Låt vara att alarmisterna, under senare tid framstått som "retoriska papegojor", men AI-säkerhet och "The Alignment Problem" är ändå viktiga frågor för mig, speciellt när vi når fram till ett svagt AGI och vidare efter det).

Själv har jag blivit intresserad av Stephen Wolframs hypotes om "ruliaden", vad den innbebär och vad den kan tänkas innebära för oss, vetenskapen och AI i framtiden.

Citera

2023-12-03, 10:33 #51

Medlem

Reg: Aug 2023

Inlägg: 701

Citat:

Ursprungligen postat av Ola Schubert

Tack för din utläggning! Jag befinner mig någonstans mitt i en triangel där hörnen är Alarmister, skeptiker och extrema tekniknördar/överoptimister. Det gör att jag kan ta till mig argument ifrån alla sidor, vilket är en intressant resa för mig. (Låt vara att alarmisterna, under senare tid framstått som "retoriska papegojor", men AI-säkerhet och "The Alignment Problem" är ändå viktiga frågor för mig, speciellt när vi når fram till ett svagt AGI och vidare efter det).

Själv har jag blivit intresserad av Stephen Wolframs hypotes om "ruliaden", vad den innbebär och vad den kan tänkas innebära för oss, vetenskapen och AI i framtiden.

Jag vet inte om jag befinner mig på någon specifik kant egentligen, jag är inte troende av den hypade AI tekniken just nu alltså transformers, men de kommer naturligtvis utvecklas och det kommer silvertejpas på alla möjliga lösningar och hack för att forcera framframsteg (det är troligen vad OpenAI gjort hittills och det är sannolikt en stor anledning till att de är så hemliga om deras nuvarande teknik)

Men jag vill se utvecklingen gå framåt, jag har skrivit det i något tidigare inlägg AI eller egentligen AGI (den definition som alltså innebär att den är mer eller mindre likvärdig med en människa på kognitiva uppgifter) är vad som fick mig att börja och bli intresserad av datorer till att börja med för drygt 36 år sedan efter vad jag misstänker ha sett några barnprogram involverande robotar osv (alltså sci-fi).
Men det tog till mitten på 90 talet (och detta pga internet vågen som var då) började lära mig och experimentera med AI algoritmer. Det var en period på något år sen låg det i dvala till mitten på 2010 talet ungefär men det är också det som skrämmer mig lite med det här "utvecklingen går så snabbt" för det är inte jättestora steg (i mitt tycke) jag tycker ett stort steg är när något är markanta förbättringar inte en siffriga procentuella skillnader men visst flera sådana adderar, men jämför man tex Nintendo spel på 80 talet med dagens PS5/Xbox Series X spel så är det ju en helt annan värld och detta är enorma förändringar, ofta mellan varje generation och något sådant anser jag inte det varit i AI världen, ens senaste åren då det investerats mer än någonsin.

Och det här med att AGI är runt hörnet, det har låtit så länge jag kan minnas så där av att jag inte är begeistrad av det, jag köper heller inte marknadsföring och opinions twittrar osv heller jag har sett det i mängder med år och personligen föredrar jag bli positivt överraskad, jag gillar Apple av den anledningen för de är knäpptysta tills de faktiskt har något att visa tillskillnad från många andra aktörer, jag har aldrig förstått vitsen med att skryta om något som inte finns för det är det enklaste som går att göra och det mest systematiskt missbrukade i hela mänskligheten tror jag.

Angående ruliaden är jag inte så insatt, jag vet bara att han försöker lägga fram en förklaring om hur enkla mekanismer kan vara grunden till alla komplexa system, ungefär som flock simulering av fåglar.

Citera

2023-12-03, 11:55 #52

Medlem

Reg: Sep 2003

Inlägg: 24 888

Citat:

Ursprungligen postat av BeneathTheSurface

Jag vet inte om jag befinner mig på någon specifik kant egentligen, jag är inte troende av den hypade AI tekniken just nu alltså transformers, men de kommer naturligtvis utvecklas och det kommer silvertejpas på alla möjliga lösningar och hack för att forcera framframsteg (det är troligen vad OpenAI gjort hittills och det är sannolikt en stor anledning till att de är så hemliga om deras nuvarande teknik)

Men jag vill se utvecklingen gå framåt, jag har skrivit det i något tidigare inlägg AI eller egentligen AGI (den definition som alltså innebär att den är mer eller mindre likvärdig med en människa på kognitiva uppgifter) är vad som fick mig att börja och bli intresserad av datorer till att börja med för drygt 36 år sedan efter vad jag misstänker ha sett några barnprogram involverande robotar osv (alltså sci-fi).
Men det tog till mitten på 90 talet (och detta pga internet vågen som var då) började lära mig och experimentera med AI algoritmer. Det var en period på något år sen låg det i dvala till mitten på 2010 talet ungefär men det är också det som skrämmer mig lite med det här "utvecklingen går så snabbt" för det är inte jättestora steg (i mitt tycke) jag tycker ett stort steg är när något är markanta förbättringar inte en siffriga procentuella skillnader men visst flera sådana adderar, men jämför man tex Nintendo spel på 80 talet med dagens PS5/Xbox Series X spel så är det ju en helt annan värld och detta är enorma förändringar, ofta mellan varje generation och något sådant anser jag inte det varit i AI världen, ens senaste åren då det investerats mer än någonsin.

Och det här med att AGI är runt hörnet, det har låtit så länge jag kan minnas så där av att jag inte är begeistrad av det, jag köper heller inte marknadsföring och opinions twittrar osv heller jag har sett det i mängder med år och personligen föredrar jag bli positivt överraskad, jag gillar Apple av den anledningen för de är knäpptysta tills de faktiskt har något att visa tillskillnad från många andra aktörer, jag har aldrig förstått vitsen med att skryta om något som inte finns för det är det enklaste som går att göra och det mest systematiskt missbrukade i hela mänskligheten tror jag.

Angående ruliaden är jag inte så insatt, jag vet bara att han försöker lägga fram en förklaring om hur enkla mekanismer kan vara grunden till alla komplexa system, ungefär som flock simulering av fåglar.

Ruliaden, om den hypotesen stämmer, (vissa av Einsteins ekvationer passar som hand i handsken till den), så tror jag det kan få riktigt omvälvande konsekvenser, större än AI självt.

När det kommer till dataspel så är jag fullt nöjd med 90-tals spel som "Wolfstein 3D", många av dagens dataspel har ändå inte mer komplext koncept än så. Men framtiden utlovar virtuella spelvärldar med AI-styrda mångbottnade karaktärer, vilket kan bli intressant.

Personligen tycker jag attLLM inneburit ett stort framsteg, då vem som helst kan interagera med ett AI. Om sedan den tekniken, eller delar av den, kan användas för att bygga framtidens kraftfulla AI, återstår att se.

Citera

2023-12-03, 18:03 #53

Medlem

Reg: Aug 2023

Inlägg: 701

Citat:

Ursprungligen postat av Ola Schubert

Ruliaden, om den hypotesen stämmer, (vissa av Einsteins ekvationer passar som hand i handsken till den), så tror jag det kan få riktigt omvälvande konsekvenser, större än AI självt.

När det kommer till dataspel så är jag fullt nöjd med 90-tals spel som "Wolfstein 3D", många av dagens dataspel har ändå inte mer komplext koncept än så. Men framtiden utlovar virtuella spelvärldar med AI-styrda mångbottnade karaktärer, vilket kan bli intressant.

Personligen tycker jag attLLM inneburit ett stort framsteg, då vem som helst kan interagera med ett AI. Om sedan den tekniken, eller delar av den, kan användas för att bygga framtidens kraftfulla AI, återstår att se.

Det är en enorm skillnad på komplexitet i dagens spel mot dåtidens. Wolfenstein 3d (och för den delen Doom) är däremot ett bra exempel för det illustrerar egentligen vad jag anser en LLM är, det är inte äkta 3d och utan bygger på genvägar och illusioner för att ge bilden av att något mycket mer komplext än vad faktiskt är, 1994/95 när Quake släpptes däremot det var då 3d utvecklingen tog fart och det var då 3d acceleratorer osv började utvecklas (mycket drivet av just detta spel).

Det är ju det som är problemet med LLMs, de ger intrycket av att kunna mer än de kan för att de just är tillgängliga för vem som helst, tror du samma revolution har hänt med CV (alltså computer vision) senaste åren? Som dessutom är vad neurala nätverk är influerade och skapade från (näthinnan alltså) det i stort sett enda jag vet som har gjorts är bild till text modeller (som är mer relaterade till LLMs än CV) där bilder kan annoteras med vad de innehåller lite mer "mänskligt".

Som jag skrivit flera gånger det har gjorts mängder med försök att mata bild data in i transformer modeller (det är så man gör bild till text för den delen) men de förstår inte bilderna mer än just vad som är på dom, men frågar du tex GPT-4 "Jag har en vas på ett bord, och drar undan bordet vad händer då?" så kommer den troligtvis svara "Vasen kommer falla till marken och möjligtvis gå sönder" vilket ger illusionen av att modellen har förstått tex gravitation.
Gör du samma sak med en sådan modell som du tränat på bilderna och skickar in en sekvens där du faktiskt drar bort borde (och innan vasen fallit) ber den förklara vad som kommer hända så kan den inte det, den förstår inte. Och det är ett av de argument som Yann LeCun brukar använda när det diskuteras reasoning.

Och vad det gäller AIs framtid kan svaret mycket väl ligga i en kombination av mjukvara och hårdvara (och med hårdvara menar jag inte snabbare datorer utan det forskas massvis återigen på en nu mer nästan bortglömd teknik, analoga datorer)

Citera

2023-12-07, 00:46 #54

Medlem

Reg: Aug 2023

Inlägg: 701

Apple släppte idag sitt ramverk (naturligtvis anpassat för deras egna chip) för att köra språkmodeller.
Det mest intressanta är att det är ganska snabbt (ca 25t/s inferens i fp16) och den enda lösningen hittills som stödjer träning av språkmodeller på Apple hårdvara.

https://github.com/ml-explore/mlx

Citera

2023-12-12, 12:55 #55

Medlem

Reg: Aug 2023

Inlägg: 701

En sak att klargöra trots det inte har direkt med språkmodeller i sig att göra (även om de är baserade på FFNs och back propagation) så är en sak som återkommer att Geoffrey Hinton används för att statuera exempel på hur farlig den här tekniken är.

Faktum är dock att Geoffrey Hinton har vid mängder tillfällen sagt mycket saker under sin karriär, från att förkastat tekniken helt till att nu senast se det som en fara.

Oavsett vilket som är korrekt, är det är ett väldigt insiktsfullt inlägg från en av hans studenter och vad jag kan se och känner till stämmer det helt med dagens senaste förståelse, sen går det också tillägga att Hinton har fått tillkännagivanden som han egentligen inte förtjänar i det här sammahanget, han uppfann inte alls back propagation som är vad han prisas för, det var Seppo Linnainmaa som uppfann på 70 talet men Hinton får äran för detta.

Men https://www.quora.com/Why-is-Geoffre...-to-start-over

Citaterat för de som inte kommer åt länken pga Quoras prismodell. (Jag har understrukit och fet gjort de mest intressanta och poäng givande delarna i inlägget)

"I learned neural nets from Geoff Hinton in the mid-1980s when he taught at CMU, and we sometimes walked over to the campus together from Squirrel Hill (where we both lived). I’m not surprised he wants to rethink backpropagation. All of us who have been in AI for three or four decades are not happy with backpropagation or even deep learning, for the simple reason that it does not capture the way the brain works.

Backpropagation over deep neural networks has as much to do with the way the brain learns as modern jet airplanes have to do with the way birds fly. Both jets and birds fly, but they do so using entirely different principles. Jets do things birds cannot (fly at 500 miles per hour carrying many passengers), birds do things jets cannot (take off instantly).
Actual neurons in the brain largely work by spike trains. Each neuron is sending out “da dit da” messages like Morse code to neighboring neurons. The transfer functions are entirely different from RLUs or sigmoid. Actual neurons are highly sophisticated. I took a whole semester course where we studied the working of a single neuron (the Hodgkin Huxley model, which earned their inventors a Nobel prize). Real neurons are hugely complex, and much of that complexity is not reflected in the highly simplified models in deep learning. There are as many feedback connections as feedforward connections. Each neuron can connect to tens of thousands of other neurons.

The first book on deep learning came out when I was a graduate student in the mid-1980s. It was called “Parallel Distributed Processing” and it had two volumes. Volume I had the famous paper introducing backpropagation (incidentally, not surprisingly, many people have shown that backpropagation was invented far earlier by Werbos and several others, so this idea goes back at least a decade or more prior to the mid-1980s).

Volume II had a number of articles by famous biologists, one of them Francis Crick (possibly the greatest biologist of the 20th century). Crick was deeply skeptical of neural networks models. He made the analogy to Aristotle, who simply declared that men have more teeth than women (of course, if Mr. Aristotle had simply looked inside Mrs Aristotle’s mouth, he would have discovered that she had the same number of teeth and he was obviously wrong). Similarly, Crick felt that neural network modelers were simply largely ignorant of the way the brain worked and the way real neurons worked.

Deep learning models are incredibly wasteful of training data, recycling the same example over and over again. Human learning treats data as a much more precious quantity. Experiences are valuable. If you run a red light and get pulled over by a traffic cop, you don’t need to repeat that experience 10,000 times to know that’s a bad thing to do. If you have never seen the Euro symbol, how many times do you need to see it to learn it? 5 or 50,000? The solution provided by backpropagation or its zillion variants is completely wrong, and it cannot be the way the brain works. It’s a placeholder till we come up with something better.

Unsupervised learning and reinforcement learning must be the primary modes of learning, because labels mean little to a child growing up. Devoid of language and meaning that adults have, children nonetheless are remarkable learning machines, and exhibit remarkable capacity to discover structure in the world. This capacity cannot be due to supervised learning, because a child does not understand the labels that adults use (which 3-year old child can recognize crazy categories like “Ibex” used in artificial rote memorization tasks like Imagenet?). To an adult, a chair means an object to sit on. To a child, it means so much more (a place to hide under, a way to stand up taller to reach objects higher up, and hundreds of other uses. Children learn affordances, not labels. AI has much to learn about human learning, and a little time spent understanding how humans actually learn will pay a lot of dividends."

-
Tillägg: Poängen med det hela oavsett om dagens artificiella neurala nätverk faktiskt har någon form av intelligens (vilket de sannolikt inte har eftersom hela mekaniken bygger på statistik och där med skenbar intelligens av erfarenhet) så hade det varit universums dummaste entiteter, som inte förstår saker förrän det repeterats tio-tusentals gånger om och om igen och dessa konstruktioner är man rädd ska uppnå en högre intelligens än människan, av den enda anledning att de kan recitera fakta. Man måste vara bra jävla korkad för att tro att kunskap och intelligens är samma sak.

__________________
Senast redigerad av BeneathTheSurface 2023-12-12 kl. 13:08.

Citera

2023-12-20, 17:39 #56

Medlem

Reg: Aug 2023

Inlägg: 701

Apple släppte i dagarna ett papper på hur de med sin teknik totalt utklassar kända tekniker att köra modeller på enheter med mindre minne än modellen i sig, att räkna ut minneskravet för en modell är enkelt (storlek * viktformat) FP16 betyder alltså 2 bytes per vikt, vilket gör att modellen kräver ungefär dubbelt så många GB minne som modellen har parametrar/vikter, alltså en 7B modell behöver ca 14GB RAM normalt.

Med denna teknik gör det möjligt att köra en modell med ungefär hälften så mycket RAM som den normalt krävt samtidigt som inferensen är 4-5 ggr snabbare på CPU och 20-25 ggr snabbare på GPU.

https://arxiv.org/abs/2312.11514

Citera

2023-12-23, 17:21 #57

Medlem

Reg: Aug 2023

Inlägg: 701

Google Deepminds team har skrivit en utförlig post på hur språkmodellernas neurala nätverk fungerar och hur mycket man faktiskt förstår av det (vilket är betydligt mer än vad som i bland utlyses)

https://www.alignmentforum.org/posts...factual-recall

Citera

2023-12-24, 16:44 #58

Medlem

Reg: Aug 2023

Inlägg: 701

Apple har släppt sin första MLLM model som enligt rapporten utklassar alla nuvarande modeller på vision tasks inkl GPT-4.
Den är open source och finns i två modeller 7b och 13b.

https://arxiv.org/abs/2310.07704

Citera

2023-12-25, 12:42 #59

Medlem

Reg: Aug 2018

Inlägg: 3 913

Citat:

Ursprungligen postat av BeneathTheSurface

Jag vet inte om jag befinner mig på någon specifik kant egentligen, jag är inte troende av den hypade AI tekniken just nu alltså transformers, men de kommer naturligtvis utvecklas och det kommer silvertejpas på alla möjliga lösningar och hack för att forcera framframsteg (det är troligen vad OpenAI gjort hittills och det är sannolikt en stor anledning till att de är så hemliga om deras nuvarande teknik)

Men jag vill se utvecklingen gå framåt, jag har skrivit det i något tidigare inlägg AI eller egentligen AGI (den definition som alltså innebär att den är mer eller mindre likvärdig med en människa på kognitiva uppgifter) är vad som fick mig att börja och bli intresserad av datorer till att börja med för drygt 36 år sedan efter vad jag misstänker ha sett några barnprogram involverande robotar osv (alltså sci-fi).
Men det tog till mitten på 90 talet (och detta pga internet vågen som var då) började lära mig och experimentera med AI algoritmer. Det var en period på något år sen låg det i dvala till mitten på 2010 talet ungefär men det är också det som skrämmer mig lite med det här "utvecklingen går så snabbt" för det är inte jättestora steg (i mitt tycke) jag tycker ett stort steg är när något är markanta förbättringar inte en siffriga procentuella skillnader men visst flera sådana adderar, men jämför man tex Nintendo spel på 80 talet med dagens PS5/Xbox Series X spel så är det ju en helt annan värld och detta är enorma förändringar, ofta mellan varje generation och något sådant anser jag inte det varit i AI världen, ens senaste åren då det investerats mer än någonsin.

Och det här med att AGI är runt hörnet, det har låtit så länge jag kan minnas så där av att jag inte är begeistrad av det, jag köper heller inte marknadsföring och opinions twittrar osv heller jag har sett det i mängder med år och personligen föredrar jag bli positivt överraskad, jag gillar Apple av den anledningen för de är knäpptysta tills de faktiskt har något att visa tillskillnad från många andra aktörer, jag har aldrig förstått vitsen med att skryta om något som inte finns för det är det enklaste som går att göra och det mest systematiskt missbrukade i hela mänskligheten tror jag.

Angående ruliaden är jag inte så insatt, jag vet bara att han försöker lägga fram en förklaring om hur enkla mekanismer kan vara grunden till alla komplexa system, ungefär som flock simulering av fåglar.

Kul. Då är vi två. Ungefär samma åldersgrupp också.

Jag gjorde ungefär samma resa som dig. Blev tvingad att knacka Basic på en ABC-80 i plugget i början av 80-talet och stog sedan och dreglade över Nadas kurskatalog under andra halvan av 90-talet. Och visste inte om jag skulle läsa om neurala nätverk på Nada eller MDI på DSV.

Lyssnar inte heller så mycket på megafonerna med sitt budskap om AGI etc och tänker istället på herr Turings inledande fråga i sin uppsats från 50-talet. "Kan datorer tänka?".

Samma fråga ställs idag, och än idag kan ingen svara ja på just den frågan. Då, liksom nu, förundras individer över det mystiska som försigår där inne bland vakumrör och parametrar. Och lägger till lite spänning i sina liv genom olika hittepåteorier om artificiell eller utommänsklig intelligens. Precis som människan gjort om tomtar, troll och olika skapelseberättelser i många tusen år. Och visst är det spännande! Lite Star Trek lixom. Som jag för övrigt saknar.

Med det sagt.. om vi pratar AI och teknik och utveckling.. så hoppas också jag på mer progress inom området. Lingvistik har ju alltid varit något av det svåraste inom datologin och löser man alla lingvistiska problem, vilket man verkar vara på god väg att göra, så innebär detta stora framsteg för just teknisk utveckling. Betänk bara förbättringen av spårbarhet i alla enorma kodbaser med mängder av beroenden mellan komponenter/moduler, där implementation av ny funktionalitet leder till buggar och beteendefel.

Dagens utvecklarteams lägger ner enormt med tid på tester och att bygga robusta byggkedjor. Iaf inom webbaserad applikationsutveckling. Med en kontextkänslig och verksamhetstränad LLM kommer den tiden kunna minimeras och produktivitet och verksamhetsnytta öka något oerhört.

Förhoppningsvis kommer utvecklare framöver återgå till att fokusera på att utveckla funktion för slutanvändare, istället för att inveckla processer och metoder för övervakning av labila och svåröverskådliga system.

Det som talar emot detta är väl att även systemutveckling följer sin version av Moore's Law. Där såväl verktyg som miljöer blir allt mer komplexa över tid. Och fortsätter detta så är vi illa ute och går snart in i väggen vad gäller teknisk utveckling. Speciellt om allt acellereras m.h.a AI.

__________________
Senast redigerad av HomoDeus 2023-12-25 kl. 12:46.

Citera

2024-01-27, 20:59 #60

Medlem

Reg: Aug 2017

Inlägg: 534

Inte dykt upp något hjälpmedel till att skapa en tränad modell? Skulle vara kul att prova skapa en modell i en viss kategori med t.ex chatgpt som bas.

Citera

Stora språkmodeller - Teknik och Utveckling

Stöd Flashback