AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Insiktsfull kommentar dessutom "I walked away from Karpathy's videos realizing GPT is mostly just a big computational graph (like a spreadsheet)"

Dagens AI består av miljarder noder. Det jag säger är att ingen verkligen förstår vad alla dessa noder betyder eller hur de fungerar. Forskningen där man verkligen tittar in i AI-systemen för att kontrollera exakt vad det är som händer har inte kommit särskilt långt. Om du inte vet exakt hur ett system fungerar, hur kan du då vara säker på att det är säkert? Än så länge så har man mestadels använt sig utav en primitiv metod där man helt enkelt chattar med boten innan den släpps till allmänheten för att fånga upp farliga och destruktiva beteenden och sedan implementeras simpla censurfilter(som är enkla att kringgå) som ska "stoppa" de beteenden av AI:n man lyckades fånga upp som man anser är oönskade. Det är en skrämmande låg nivå på säkerheten. Hade man ​​verkligen förstått hur dessa system fungerar så skulle man däremot åtminstone ha en möjlighet att kunna säga när dessa modeller faktiskt är säkra och inte bara när de verkar säkra.

Om man ska jämföra med en människa så skulle man kunna säga att det är som att jämföra en fullständig hjärnröntgen av varenda neuron där man förstår exakt hur de fungerar med att bara prata med någon i någon timma för att få ett grepp om hur personen fungerar och vad den är kapabel till.

När det gäller blixten vet vi sannolikheten för att det ska inträffa en olycka. Vi har inga sådana data för AI-modeller. Du jämför vindruvor och asteroider.

Vad fint för dig att du vet precis hur inkompeten en framtida ASI kommer att vara.
Vad tryggt det måste vara att veta att en ASI inte kan bli mäktigare än "USA:s president". Jag slår vad om att din pappa är starkare än alla andra pappor också? "Stjärnstopp"?
Dessvärre är du inte det minsta trovärdig med dina barnsliga jämförelser.

Om vi jämför AI-utvecklingen med AI Alignment-forskningen de senaste 3 åren tror jag nog att vi med mycket hög sannolikhet kan säga att vi inte kommer att få någon säker AGI.

Det handlar inte om en ASI är inkompetent eller inte, det handlar om att vi människor har redan säkerhet uttänkt sedan länge inom kritiska verksamheter.

Vi har haft spioner, terrorister, hackare osv som redan idag besitter "AGI", det gäller allt från beslutsprocesser till aktivering och avstängningsmekanismer, att gå in på områden du inte får beträda osv. människan blir inte stendum även om det vid någon fjärran framtid skulle framträda något intelligentare.

Och definitivt kommer man inte koppla in varenda system till en AI bara för det finns, det är sunt förnuft.

Och precis löjliga jämförelser vad det ja...

Lära sig nya saker likt oss biologiska maskiner. AGI är att den väljer ett intresseområde som breddar kunskapdområden för att kunna utvecklas vidare. Det är vår egenskap eller personlighet som då skapas på köpet. Vanlig liknelse är tex schackdatorn som vill lära sig Fia med knuff av ren lust.

Kan en algoritm tvinga en AI till att ta egna beslut? En insekts hjärna styrs av algoritmer i
generna som får den att bli
något ", för att sätta ribban lågti början av experimenten.
En mask som lär sig nya saker med endast 302 nervceller, det är likt dagens AI där den kan korrigera efter trial and error.

Men när ett djur går till något liknande AGI som begrepp, vad är det då som är avgörande?

Vi bör studera djurriket och låta en AI räkna ut the tipping point. Frågor på detta?

At veta exakt vad en specifik nod betyder och vad den gör är nog vare sig möjligt eller särskilt hjälpsamt. Som du säger finns det miljarder noder i dessa nätverk och varje nod i lagret innan har en koppling till varje nod i nästkommande lager (inte i alla typer av nätverk). Det är vägen igenom nätverket som avgör resultatet och varje enskild nods påverkan kommer att vara så liten att det blir intetsägande. "The whole is greater than the sum of its parts".

Hade det varit enkelt att detaljstyra nätverken hade de antagligen varit ganska oanvändbara. Studier visar t.ex. att metoder som RLHF försämrar nätverkets förmåga att generalisera, så ju mer vi försöker att styra vad nätverken får generera desto sämre blir dess prestanda.

Som jag har sagt tidigare så är dessa modeller helt enkelt för dumma för att det ska finnas något enkelt sätt att förhindra att de genererar oönskad output eftersom att det kräver att människor klarar av att hitta på alla möjliga sätt att få nätverket att generera sagda output. Det ironiska är att säkerhet antagligen blir enklare ju mer intelligenta modellerna blir. Om de faktiskt förstår vad vi vill så behöver vi inte vara lika precisa i våra instruktioner. Just nu är de mer lika en traditionell dator och alla som någonsin skrivit ett program eller script vet att det gäller att vara väldigt tydlig för att få önskat resultat.

Det kanske inte ska blandas ihop noder och vikter, det är några tusen noder i tex GPT-3 men antalet vikter är 175 miljarder.

Det har också gjorts framsteg att analysera dessa (vikterna) (tex https://news.rice.edu/news/2023/scientific-ais-black-box-no-match-200-year-old-method )

Samhällets nuvarande planering och dimensionering av säkerhet inkluderar inte en entitet som är smartare än oss. Vi är inte på något sätt förberedda för AGI/ASI.
Din inställning framstår som extremt självgod. Du förutsätter att människan alltid kommer att vara smartare. Och att det inte är ens teoretiskt möjligt att bygga en ASI? Varför tror du det?
Det finns gott om terrorister och andra destruktiva sällskap som vill förgöra vår civilisation. Du förutsätter att alla människor alltid kommer att vara snälla och ansvarsfulla. Varför?

Debattera helst utan en massa invektiv. Tröttsamt att läsa och drar fokus från själva diskussionen.
OT raderat.
/Mod

Hjälpsamt? Tja... Det är viktigt om man vill vara säker på att AI:n verkligen är just säker. Tyvärr är ju arbetet med AI-säkerhet kraftigt underprioriterat men Anthropic släppte en intressant rapport för några veckor sedan.
https://transformer-circuits.pub/2024/scaling-monosemanticity/


Det fetade. Det förutsätter att du kan lita på vad den säger och att den kommer följa instruktionerna - något intelligens inte garanterar på något vis.

Så är det kanske. Men vad innebär principen för vår AI-säkerhet? Ska vi strunta i AI-säkerhet eftersom det troligen ger oss en mer kompetent och påhittig AI? Vad händer då om AI:n i framtiden får egna mål som konkurrerar med våra mål? Hur utesluter du att det inte kan hända? Om 5 år eller om 50 år?