AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Precis, mänskligheten är säkrare än någonsin...

Tycker den här tråden på ett ganska bra sätt tar tempen på svenskens inställning till riskerna med AI.
Mer än hälften verkar fortfarande tro att det handlar om någon sorts science fiction.
Jag gissar att de kommer få ett hyfsat bryskt uppvaknande de närmsta åren.
Kanske redan i år.

Jag vill mena att den naivitet som folk visar inför den teknologiska revolution vi står inför, är rent av farlig.
Detta är fel tidpunkt i historien att vara naiv!

Om folk tog riskerna med AI på allvar så skulle vi ha en mycket bättre chans att - på ett säkert sätt - ta klivet in i nästa tidsålder.

Just nu är det mest de tunga forskarna och experterna som är djupt oroade över framtiden.
Vanligt folk verkar inte orka oroa sig för ytterligare en grej.
Men just denna "grej" borde vara allas största oro.
Större än klimatet, större än Putin, större än svält och torka.

För att implementerandet av en kommande AGI ska ske på ett sätt som vi människor kan kontrollera, så måste det nog finnas en folklig förståelse för frågan.
Och dessutom en folklig vilja att påverka makthavare att gå varsamt fram nu.

Så länge opinionen inte lyfter frågan och tar den på allvar så finns det inte så många starka incitament för politiker och stora bolag att sakta ner på takten.

Än så länge ligger nog vårt öde i våra egna händer, men den tiden rinner ut allt snabbare.

Tanken var att vi kanske redan har ett par stycken med mycket pengar och som kan komma nära total destruktivitet i sin gärning.

Vad talar för att det ska komma någon AGI inom överskådlig framtid?? Hittills är ju alla tillämpningar neurala nätverk som tränat på en jäkla massa data och räknar ut sannolikheter baserat på detta. Snälla upplys om vilka källor som säger att AGI står för dörren samt deras argumentation

Jobs kommer snart med Folk-AI:n som kommer bekämpa centraliserad makt, kärnvapen, livsmedelspriser, fascism och hungern i tredje världen. Den kommer i olika färger och möjligheter till personliga inställningar. Hälsar trevligt med.

Eller förresten. Är det han som ligger bakom Tic-tacsen? Ser ut som en Jobsprodukt.

Jag kommer inte att sitta och samla ihop källor.

Jag refererar dels till det öppna brevet om att genast pausa utvecklingen kring AI:
https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Och dels till den massiva debatt som har följt brevet.

Det finns enormt många artiklar, klipp, debatter m.m. att ta del av om man är nyfiken.

Det öppna brevet är egentligen först och främst en stark varningssignal till följd av den kapprustning mot extremt utvecklad AI som nu sker mellan de stora tech-bolagen.

Tusentals forskare har kommit fram till att vi befinner oss vid en allvarlig punkt, och att vi måste stanna upp och reflektera för att skapa oss en djupare förståelse, och därmed säkerhetsmarginaler.

Att AGI står för dörren just nu vet ingen.
Det går inte att beräkna när den punkten kommer.
Men många forskare flaggar för att den närmar sig hastigt.

Ur det öppna brevet:

At some point, it may be important to get independent review before starting to train future systems, and for the most advanced efforts to agree to limit the rate of growth of compute used for creating new models. That point is now.

Society has hit pause on other technologies with potentially catastrophic effects on society.[5] We can do so here. Let's enjoy a long AI summer, not rush unprepared into a fall.

Det finns visserligen ingen (officiell) AI som kan förbättra sig själv autonomt.
Hade det funnits så skulle det gå extreeeemt fort för den att verkligen snöbolla till gigantiska proportioner.

Däremot gör mänskligheten något nu som var värsta marsrömsscenariot i sci-fi filmer från typ 5-15 år sedan, och det är att integrera AI så my let som möjligt med internet.

Internet i sig har varit en extrem katalysator vad gäller vetenskaplig utveckling rent generellt, och desamma gäller AI.
Skillnaden nu är att AI i sig agerar ytterligare som en katalysator i det hela.

Som sagt, det finns (officiellt) ingen helautonom självförbättrande AI.
Däremot finns det människor som använder ett AI för att förböttra ett annat AI, och när man överlappar smala AI:n på det sättet så får man en liknande exponentiellt effekt.
Låt säga att mänsklighetens samlade ansträngningar gör ai 1% bättre om en vecka.
En vecka efter det så är AI ytterligare en procent bättre, men med den ackumulerade effekten från tidigare förbättring är AI nu inte bara 2% bättre, utan 2,01% bättre.

Det låter väldigt lite, men om tio år är det ungefär 17600% förbättring.
Vad skulle du göra med chatgpt om den var exakt 176 gånger så bra som nu?

Instämmer, fast just är vi den största faran för oss, själva. Jag har läst hela New-york Times artikeln, via Omni. Jag anser att det bästa sättet att undvika faran/katastrofen med Å är att göra den så mänsklig, i positiv bemärkelse, som möjligt. Så riskerar den Iof att bli ett "för svagt AI", men att komma runt det och vara, mycket, mänsklig, och ytterst smart, den paradoxen får AI och människor lösa, tillsammans!

Redan det att man tränar Transformer modeller på mänskligt språk och låter dem simulera, mänsklig kommunikation och interaktion peka åt, just, den riktningen!

Virusskydd som du beskriver finns redan överallt men kan bara skydda mot redan identifierade virus och säkerhetshål. Jag talar om svårigheten med att identifiera nya säkerhetshål, det är en komplex process som kräver experter och särskild hårdvara för att analysera nättrafik.

Att ha en AI som skall skydda mot andra AI är bara ett sätt att ytterligare tappa kontrollen.
Det upplevs att många som ett stort och växande problem idag, och då är det ändå människor som manipulerar människor med viss hjälp av primitiv AI. Om en superintelligent AI sätter igång kan den vara långt mer effektiv och ha mer skumma motiv.
Det är faktiskt ett av alla marddrömsscenarion. En allt mer avancerad AI som framåt GTA 13 blir medveten om en värld utanför spelkonsolen och försöker tillämpa sina förprogrammerade mål om allmän ödeläggelse där. Likheterna mellan den virtuella världen och den verkliga är tillräcklig stor för att den skall göra enorm skada utan att ens förstå att medan våld i datorspel ses som underhållande är de en katastrof i verkliga världen.
Du kan gömma meddelanden i vanlig text eller bild också. Hört talas om steganografi?

Ok, så ren domedagspropganda från dessa samt ett gäng AI forskare som fantiserar om terminator och nu lyckats få medial uppmärksamhet för att chat gpt genererar text så bra

Trist, vore intressant att läsa verkliga belägg, inte pojkrumsfantasier ala Elin musk.

Tack för att du förklarar exponentiell tillväxt så fint.

Det är en härlig kontrast till det linjära tänket i AI domedagshysterin.

Nejdå. T om Windows egna primitiva inbyggda Defender identifierar program och trafik som beter sig märkligt och sätter dessa program i karantän. Till många utvecklares förtret när de sitter och testkör sina program som inte bara blir blockerade, men även skickas till Microsoft för analys. Vilket plötsligt för utvecklaren innebär något slags egendomligt copyrightintrång.

Det bör tilläggas att alla kända antivirusprogram har den här typen av vakt och rapportering av mysko program. Det är inte bara Windows Defender.
Nej, det gör det ju inte. Om du hör två personer prata en sällsynt dialekt av Ryska från en region i Uralbergen som bara ett fåtal personer förstår behöver du ingen expert på Ryska och särskild hårdvara för att avgöra att du inte förstår vad de säger.

Det här är ju ganska exakt hur virusprogram identifierar möjlig ny malware. Fattar jag vad det här programmet sysslar med? Nej - sätt i karantän. Hellre fälla än fria.
Jag fattar grejen med att en terrorist smackar igång en bindgalen AI på nätet som får feeling. Det är en sak. Men en AI i en anpassad kontext, exempelvis i en brandvägg, är banne mig ofarlig.

Helt vanliga datorspel använder sig av AI som, faktiskt, är helt ofarlig. Det går att bygga spelfienden som använder fiffiga strategier för att smyga upp på dig. Och dessutom lär sig av din spelstil för att optimera sina chanser att besegra dig. Det går med 100% tillförlitlighet säkerställa att Chess Master eller Battlefield inte kommer börja gå igenom din playlist i Spotify och försöker få dig att rösta på Miljöpartiet.

Alldeles självklart går det att bygga en AI vars enda kontext är att analysera misstänkta mönster och beteenden på nätet. Mjukvaran saknar helt kod för att fundera på vilken favoritfärg den gillar bäst. Precis som en schackdator.
Absolut, men det är ju ungefär som med skjutvapen. Är det farligt för svenskar i allmänhet att poliser och militärer under vissa omständigheter bär vapen? Jodå, Matthias Flink var farlig. Men i bredare perspektiv, nej det är det ju inte.

På samma sätt kommer AI i kommersiella eller akademiska miljöer rulla i en begränsad kontext för vad som är tillåtet. Som, faktiskt, ett schackprogram med AI. Som med skjutvapen är det nog inte poliser och militärer vi ska oroa oss för. Eller i fallet AI, spelutvecklare, larmsystem eller väderprognoser. Det är ju i så fall kriminella eller terrorister.
Vad jag inte fattar är varför i helsike ett spelföretag skulle bygga in kod med flit, vilket det i så fall handlar om, där spelets AI har alla möjliga möjligheter att manipulera något alls. Det är väl säkert helfestligt att bygga en AI till en superskurk i ett spel, som blir mer och mer bindgalen och pratar som en verklig människa och svär åt dig med tysk brytning. Superskurken börjar hata dig och raljerar om alla möjliga kreativa sätt han minsann tänker döda dig och din familj. En rätt verklighetstrogen imitation av ett ondskefullt geni helt enkelt.

Bortsett från att man kan fundera på hur lämpligt det är för barn att lyssna på där vi inte kan förutse vilka obsceniteter superskurkens AI kan komma på så är det ju inte farligt. För att det ska bli farligt måste ju utvecklarna investera i att bygga in en motor i skurkens kod som kan manipulera operativsystemet och använda internet.

Det här är inte farligare än att låta en riktigt person skrika obsceniteter i spelet. Skillnaden är att det just är en AI som pratar.
Superskurken kan få härja om steganografi hur mycket den orkar. T om få härja om att starta kärnvapenkrig. Det är ett program vars enda uppgift och enda möjlighet är att imitera en bindgalen skurk. Programmet kan inte ens kolla hur mycket klockan är ens om den vill imitera att skurken har bråttom.

Det skulle ta ChatGPT4 ca 2år att förbättras mer 176 gånger om, (med annan AI och människor hjälp ) , givet att den nuvarande utvecklingstakten, ca en fördubblad kapacitet var hundrade dag, kan bibehållas.

Men, nej, den Transformer kommer, inte att göra leksaken "Transformers" till en otäck verkighet. Där är vi överens! 🙂