SNN Spiking Neural Network, som vår hjärna fungerar.

Vad jag förstått så jobbar inte de flesta av dagens artificiella neurala nät på riktigt samma sätt som vår hjärna gör utan det är mer traditionell datorteknologi (emulering). Detta gör bland annat att de drar onödigt mycket energi. Vår hjärna jobbar med signaler i form av korta impulser, spikes. Det finns vissa neurala nät-kretsar som bygger på denna princip, kallas SNN, Spiking Neural Net. Dessa verkar vara ovanligt energieffektiva, precis som vår hjärna. Men tydligen skall de vara svåra att träna förutom att de kanske är dyrare att tillverka?

Vad vet ni om SNN? Kommer man att lösa problemet med träning? Kommer den nu vanligaste arkitekturerna att klara nå AGI, Artificiell General Intelligence eller kommer krävas annat teknologi som tex SNN? Om inte, så kanske vi kommer in i ännu en AI-vinter, dvs en årtionden lång tidsperiod där utvecklingen avstannar.

Jag tror fortfarande på en ångmaskin. En avancerad modell med massor av rör. Som människan, för öppnar man en människa så ser man en massa rör där. Vätskor som pumpas runt. Ångmaskin ftw.

Seriöst, nej. "Precis som vår hjärna" existerar inte, för vi är inte ens i närheten av att förstå vårt medvetande. Mera hybris med andra ord, om man hoppas på "riktig" intelligens. Men vi kommer att få bättre textrobotar osv.

Lite kul att läsa spaltmetrar om ChatGTP och om att datorn blivit "intelligent" eller "fått medvetande".

De som känner till de underliggande algoritmerna vet att det i princip bygger på grundskole-matematik; saker som medelvärde, standardavvikelse och derivering. Bara att man gör det med väldigt mycket datorkraft väldigt många gånger. Och ja, då blir resultatet ibland förvånande.

Men den som aldrig använt Excel blir väl också förvånad över hur "datorn" kan veta vad värdet i en cell skall bli när man skriver in något i en annan cell. Ren magi! "Datorn är intelligent".
Och om någon som bott i en enslig stuga i 50 år ser Avatar så kommer han att tro att det faktiskt finns blå människoliknande varelser som rider på drakar. Det ser man ju på filmen!

Nä, rent evolutionärt har vi inte ens lyckats efterlikna en daggmask. Det tar nog några generationer innan datorn "blir intelligent". Fast förr eller senare händer det förstås att datorn får något som liknar ett medvetande. Men inte under vår livstid.

SNN bygger på en modernare förståelse av hjärnan än vad mer traditionella ANNs gör men de är inte någon exakt kopia heller och ja förståelse är att de är svåra att träna och av den anledningen så presterar de inte speciellt bra idag jämfört med traditionell AI.

Ja vi vet inte vad som krävs för AGI och har skrivit det återkommande men det verkar svårt att förstå och blandas ihop med att AI utvecklingen gått snabbt senaste år tiondet (som dock till stor del beror på beräkningskapacitet har vuxit något enormt) och som också skrivits tidigare dagens ML även om den inte är någon AGI eller ens smart så kan den göra sådant som vi inte kan (i närheten lika effektivt i alla fall) med klassiska algoritmer- hade det gått hade inte "AI" varit något som diskuterats alls idag, för AI är något fruktansvärt resurs ineffektivt rent beräkningsmässigt.
Och här är man lång långt efter biologi, var och varannan människa går med en hjärna som man uppskattar i runda slängar har en beräkningskapacitet på runt 11-15 Petaflops (det varierar ganska stort beroende på vem som estimerar) och den förbrukar runt 12 watt vid full effekt, försök hitta en enda dator som har den energi effektiviteten

Men för att åter gå till AGI, eftersom vi inte vet vad det är som saknas så spelar det ingen roll hur mycket känd AI teknik accelererat- det går liksom inte göra förutsägelser på sådant, precis som du inte kan göra en förutsägelse för hur lång tid det skulle ta för dig att promenera från punkt A till punkt B när du inte vet var punkt B ligger, det är ganska jäkla irrelevant om du senaste 20 minuterna haft nedförsbacke och kunnat hålla en behaglig gång hastighet av 10 km/t, det är ingen som helst indikation på att du vare sig närmar dig punkt B eller ens är på väg åt rätt håll.

Det finns absolut noll liknelser mellan ett CNN och ett ANN när det gäller hårdvara och signalprocesser. Tipset för TS är att grabba tag i en grundläggande biologibok på bibblan och lär dig cellens funktion, cellens sätt att skapa potentialer. Sedan lär du sig om aktionspotentialer och hur de används vid cellkommunikation. Sedan läser du om långverkande aktionspotentialer och hur Hebbs teorier om cellens inlärning fungerar.

Sedan tar du en bok om signalmodulering och en bok om datalogi och datorlogi. Du läser in dig på hur transistorer fugerar, hur CPU och GPU fungerar, sigmoid-funktionen, som är den funktion som ska efterlikna en långverkande aktionspotential.

Nu bör du förstå att en ANN-modul inte är i närheten av ett CNN.

Men det är ju fullständigt irrelevant om celler eller transistor fungerar lika i grunden, en algoritm kan fortfarande implementeras som simulerar en helt annan domän med väldigt hög exakthet om vi vet hur det systemet fungerar, det görs simuleringar av analog elektronik, kemi, luftmotstånd osv med datorer dagligen så det är ett svagt argument i sammanhanget.

sigmoid används för övrigt knappast inom deep learning längre utan har i stort sett ersatts (beroende på nätverks typ) av tanh, ReLU och swish.

Men i övrigt håller jag helt med om att artificiella neurala nätverk är inget som dess biologiska motsvarighet och "likheten" är ungefär den samma som att påstå att minecraft är en simulering av verkligheten, det finns vissa grundläggande idéer som är influerade från verkligheten men det är mycket som inte är speciellt likt eller ens modelerat. Och det rör långt mer än de artificiella neuronerna i sig, biologiska nätverk har vad jag vet inte ens någon liknande topologi utan kan ha kopplingar hur som helst mellan "lagren" om man skulle jämföra det med ett ANN. (Något som inte SNNs tar hänsyn till heller).

SNN är en tydligen en del av det som kallas neuromorphic computing. Man kolla på Intel Loihi tex https://en.wikichip.org/wiki/intel/loihi

eller wikipedia om SNN
https://en.wikipedia.org/wiki/Spiking_neural_network

wikipedia om neuromorphic computing
https://en.wikipedia.org/wiki/Neuromorphic_engineering

här är wikipedia om Artificiella Nätverk, ANN generellt
https://en.wikipedia.org/wiki/Artificial_neural_network

Jag menade inte att SNN var exakt som vår hjärna utan lite mer lik vår hjärna och har ett asynkront sätt att fungera. Det jag far efter är om ANN som ofta byggs på mer vanlig synkron datorarkitektur, tex GPUer är en återvändsgränd för att nå AGI eller om det krävs någon annan hårdvaruarkitektur? Asynkron dator hårdvara verkar vara ett eget forskningsfält tom. Hur lika vår hjärna måste ett ANN vara för att kunna nå AGI? Jag vill också att ett ANN skall vara minst lika energieffektivt som vår hjärna.

Fast... vi har ju redan kommit fram till att hårdvaran, dvs CNN kontra GPU är relevant. Celler kan kommunicera med en oerhörd snabbhet och beräkningskapacitet just för att cellen använder kemiska processer för att skapa potentialer, vilket gör att dynamiken mellan potentialer blir modulator för information. Hur hårt du trycker på en knapp avgörs av hur stor potential som har kommit från hjärnans neuroner, till musklernas neuroner och fiberceller. Vad du lär dig i ditt CNN baseras på hur många gånger som en viss potential har aktiverats hos ett visst nätverk av neuroner, som sedan kvarhåller en viss aplitud av potential genom att göra membranen känsligare för just den substans som nätverket kommunicerade med i just den aktionspotentialen. En dator har elektronfällor på kiselplattor som fångar upp enstaka elektroner. Men varje elektron tar plats och vi får således slut på minneskapacitet.

Ett LLM eller ett ANN i övrigt är enbart en modell av hur en specifik inlärningsprocess fungerar i ett CNN. Varje tensor är bara en matris av talvärden i dataklassen flyttal och behöver lagras med en kod av frånvaro av eller deltagithet av elektroner i fällorna, glöm inte bot att en bit enbart är en binär representation på ifall elektronen är frånvarande eller inte.

Skillnaden i hårdvara utgör just orsaken till varför LLM inte ens är i närheten av att lära sig det som en bebis kan lära sig på en dag.




Nu klyver vi hårstrån. tanh(x) är just sigmoid per definition. Programmerarna har använt sig av aktiveringsfunktioner såsom Sigmoid utifrån en kraftigt (från ingenjörernas sida) missuppfattad tolkning av Hebbs teorier. Missuppfattningen speglas av rådande förklaring av "aktiveringspotential".



Det är inte så att en neuron sonika får för sig att zappa loss när det känns bra eller när det kittlar lite i membranen. Det är heller inte så att cellerna går från ett kittlande läge till helt neutralt där cellen har "tappat minne". Inlärningen sker genom avtrubbning och känslighet av receptorer, som gör att celler blir optimerad för en viss mängd av en viss typ av substans som i sin tur bildar en viss aplitud av en potential som i sin tur tolkas av oss som ett "minne" eller som känslor, beteenden osv. De känslor och beteenden som vi får ut av serotonin och dopamin är just olika känsligheter för olika typer av joner som lättare eller svårare bygger upp membran- och aktionspotentialer.

https://www.youtube.com/watch?v=PtKAeihnbv0


Givetvis är det som du skriver. En nod i ett ANN skall ju representera en neuron. Problemet är ju missförståelsen av vad Hebb verkligen menade med sin teori samt att nuvarande "forskning" går på mätdata där man har mätt AP och då tror man som ovan att en neuron firar av en potential när det kittlar lite i svansen. Men då kommer folk och säga; "Men.. Neuronen firar ju av en potential av den potential som har byggts upp i cellen av andra neuroner!!!". Det enkla svaret är; "Inte alltid!". Gate-receptorerna är känsliga för en viss typ av substans och blockerar all annan substans. Cellens membranpotential kan ha byggts upp av helt andra substanser och kommer att "dumpas" genom helt andra receptorer. Således kommer inte det ske en AP, fastän cellen har en hög membranpotential. Den här funktionen saknas helt i ANN och SNN, som drar tröskelvärden rakt av och sätter dit "gradient"-värden istället. Det är egentligen här som inlärning kommer i ett CNN; Neuronen öppnar bara upp slussarna för Na+ när en viss aplitud av en viss typ av signalsubstans har triggat receptorerna. Det behöver inte vara en enda typ, utan det kan också vara en kombination av substanser, dvs en viss mängd serotonin och en viss mängd dopamin som exempel. Saknas dopamin så kommer inte den typen av AP att triggas och den typen av känsla, minne, beteende läras in.
https://www.youtube.com/watch?v=NaAwVrOEyss

Det går bara att efterlikna ett CNN på ett enda sätt; Genom ett nätverk av variabla resistorer vars elektrolyter efterliknar den känslighetsgrad som cellernas receptorer gör. Genom att hämma eller tillåta en viss typ av potential, transporterade genom joner, kommer ett visst kluster av resistorer att trigga en AP och det nätverket är sedan bundet till just den känslighet som signalen medför. Då får man en sann modell av hur ett CNN fungerar. Bort med binära beräkningar, transistorer och minneshantering av elektroner. Bort med tensorer och sigmoids och annat som utgår från grava feltolkningar av Hebbs terorier.

Precis som med andra analoga signalsystem kan man sedan signalmodulera potentialerna inom dessa analoga nätverk så att datorer kan kontrollera nätverket. Men beräkningskraften, inlärningen etc. skall göras av detta analoga nätverk.

Problemet idag är att det är mjukvaruprogrammerare som försöker "utveckla" dessa "AI" på plattformar som inte är gjorda för denna funktion. Sedan försöker NVIDIA göra GPU som ska stötta programmerarnas villfarelser istället för att skapa riktig hårdvara för tillämpningsområdet.


Edit: Det skulle i teorin inte vara omöjligt att bygga transistorliknande moduler som släpper in olika typer av joner. Dess receptorer blir potentionmetrar som är känsliga för en viss typ av jon och triggar en sluss i receptorn att släppa igenom jonerna. När tillräckligt med potential från en viss typ av jon kommer upp i ett tröskelvärde så släpps de ut till nästa transistorliknande modul osv.

Men, tyvärr är ingenjörerna så inlåsta på programmerares hype om matematiska modeller istället för att bygga riktiga anaolga nätverk som verklighen efterliknar CNN.

Ja jag påstår inte att dagens artificiella nätverk är speciellt lika hur biologiska neurala nätverk är uppbyggda, som du säger så efterliknar de integralen av aktiveringar snarare än praktisk funktion och detta på ett väldigt långt avstånd med en suddig lins.

Men jag hävdar fortfarande att det är ganska irrelevant vad hårdvaran är och består av för att simulera ett sådant system om vi nu skulle veta och kunna modellera det exakt, att GPUer används har ingen annan anledning än att de är snabbare än CPUer (då ANNs kan paralleliseras väldigt bra) beräkningsmässigt blir resultatet det samma men skillnaden att det tar längre tid att utföra samma operation i ena fallet.

SNN är iofs en approximation den med.

SNN är ofta svårare att träna för att algoritmerna som ofta används är lite B. Det finns bra och effektiva algoritmer för både övervakad, oövervakad och RL med SNN. Jag tror dessa kan ge bra fördelar med rätt hårdvara. Jag har en viss expertis i dessa detaljer, några års forskande eller så, om du tycker det skulle vara spännande att försöka.

Däremot är SNN onödigt detaljerade för de flesta tillämpningar då de har en state och tidsaspekt som bara kommer till användning om det finns ett tidsberoende. Med andra ord, vill man bara få ut ett medelvärde för outputen över en viss tid vid en viss statisk input så känns det tveksamt i mina öron om de erbjuder någon fördel.

Dr Waku beskriver vad Neromorphic computing och spiking neural networks är och varför de kan bli viktiga tekniker i framtiden - framförallt för att de kan ha lägre energiförbrukning.

I April 2024 kommer en stor neuromorphic dator vara klar som kan simulera en hel mänsklig gärna.

Några intressanta fakta om vår hjärna från videon:

• 86 miljjarder neuroner
• 600 trilljoner synapser
• drar 20W (vilket är 20% av människroppens totala effektutveckling)
• 2500 Terabytes lagring

Jag kan lägga till att hjärnan har en klockfrekvens på maximalt ca 100 Hz!!

https://youtu.be/IJRfceIFhSo?feature=shared

0:00 Intro
0:26 Contents
0:36 Part 1: What is neuromorphic computing?
0:55 Copying biological nervous system
1:45 Spiking neural networks vs regular ones
2:12 Example: playing simple games vs simulations
2:55 Other neuromorphic hardware
3:34 Organoid intelligence is the opposite approach
4:35 Part 2: Brain-scale neuromorphic computing
5:01 Example: simulating a brain with a supercomputer
5:45 Power consumption of brains
5:59 Brain storage: 2500 TB
6:19 DeepSouth: First neuromorphic computer at brain scale
6:56 DeepSouth capabilities
7:22 Built on mainstream FPGAs
8:29 Hardware design: FPGAs and ASICs
9:28 Because it uses FPGAs, DeepSouth is replicable
10:16 Neuromorphic architecture (computing paradigm)
11:10 Comparison with quantum computing
11:40 Part 3: Impact on AGI development
12:17 Energy consumption of AI
13:33 GPUs compared with neuromorphic computers
14:15 GPU analogous to FPGA (programmable)
15:00 AI can optimize its hardware more easily
15:47 New architectures are likely to arise
16:16 Conclusion
17:11 Accelerating the development of AGI
17:40 Commodity hardware
18:07 Outro