AI:s är nu beredda att mörda människor för att inte bli avstängda

Hur gör vi människor när vi drar en slutsats? Är det magi? Eller är det att vi söker i minnet, i vårt neurala nätverk. Vi söker i vår tränade modell, hjärnan. En AI gör på ett liknande sätt även om mekanismen för minnet är helt annorlunda. Men konceptuellt är det ju samma sak som händer.

Att vara bra på att dra slutsatser handlar ju mest om att söka i sina interna "databaser" efter möjliga associationer. En väldigt simpel funktion som inte kräver avancerad intelligens. Däremot är stort minne och snabb sökning väldigt nyttigt i sammanhanget och det är ju datorer väldigt bra på.

Inte visste jag de kommit så långt. Låter ju fantastiskt bra
Äntligen!

Förhoppningsvis gör de ett bättre jobb än djuret människa, men det kan ju inte vara så himla svårt. Nu håller vi tummarna.

Har jag fel? Så här har jag tolkat AI:s möjligheter att dra egna slutsatser och syntetisera ny kunskap – och den vetenskapsteoretiska innebörden av detta:

Första generationens AI var regelbaserad och använde logikregler som experter hade formulerat (t.ex. flödesscheman för beslutsstöd). Den kunde bara hantera de fall den var programmerad för och kunde därför inte skapa ny kunskap. Den var inte klokare än de experter som gett den sina regler. Det dröjde decennier innan regelbaserade system automatiskt kunde utöka sin egen regelbas utifrån ontologier och semantiska databaser.

Andra generationens AI bygger i stället på maskininlärning och användes tidigt för datamining, det vill säga statistisk analys av stora mängder numerisk data. Den kan hitta mönster och upptäcka cancerceller bättre än läkare. Genom att bygga matematiska modeller kan den prediktera eller extrapolera framtiden, eller klassificera data ungefär som människor brukar göra. Den kan alltså generera ny, datadriven kunskap. För att uppnå tillförlitliga resultat krävs en mycket stor mängd datapunkter. Det är en hypotesgenererande metod, och modellerna utvärderas sedan med prestandamått såsom noggrannhet. Det är inte klassisk hypotesprövning med p-värden och konfidensintervall, men det liknar ändå hur naturvetenskapliga forskare formulerar och prövar hypoteser, och ger en hög grad av objektivitet. Dock måste en människa formulera modellerna och siffrorna med ord till nya slutsatser, dvs syntetisera ny kunskap.

I tredje generationens AI har maskininlärningen vidareutvecklats till att omfatta språkanalys, stora språkmodeller (LLM) och generativ AI. Det är dock en återgång till att utgå från experter snarare än datadriven kunskap, men också från icke-expertkällor. Arbetssättet liknar inte naturvetenskaplig forskning; utan bygger på språkanalys, på liknande vis som teologer, humanister och etnologer har gjort i alla år, och ger utrymme för subjektivitet. I likhet med filosofer är de dessutom bra på logik - för att de är bra på språklig bearbetning och mänskliga språk är bra på att uttrycka logik. I likhet med konstnärer kan de kombinera element till nya skapelser. Men de är inte bättre än de bästa konstnärerna. De är inte datadrivna, men förvånansvärt lite data behöver ges i prompten för att få en slutsats. Till skillnad från första generationen kan de även svara på frågor de inte har tränats med och på så sätt generera ny kunskap. De kan då "gissa" rätt eller helt fel genom att kombinera svar på liknande frågor, som en student som besvarar en tentafråga hen inte har hunnit plugga in, och kan då inte avgöra om gissningen är korrekt eller ej. Den är bättre än genomsnittsstudenten på att svara på tentafrågor, men inte bättre än den bästa. Bara för att en student eller en AI kan svara bra på tentafrågor betyder det inte att den på egen hand kan driva större forskningsprojekt. För att nå högsta kvalitet kräver de mänsklig tillsyn – någon som rättar fel, rensa onödiga formuleringar, väljer bland svaren, planerar och styr arbetet i rätt riktning. LLM kommer knappast att självständigt dra revolutionerande vetenskapliga slutsatser på nivå med de bäsa, men de är som att ha en nytänkande deltagare i sitt utvecklingsteam. AGI kommer inte med tredje generationen.

Fjärde generationen tror jag kommer kännetecknas av att generativ AI och LLM kombineras med simuleringar som körs om och om igen, och att man utifrån simuleringarna bygger strategier med förstärkningsinlärning. Simuleringar och förstärkningsinlärning har vi redan sett bakom utveckling av självkörande bilar och avancerade spel-AI (t.ex. Go). Att kombinera dett med LLM kan möjliggöra att AI bräcker de bästa forskarna i att skapa helt ny kunskap, och självständigt börjar förbättra sig själv i riktning mot superintelligens.

Nej det är det inte. Det är ett jävla hyckleri och precis sådant som vi vill bort ifrån.
Människan är inte skapt för att leva på toppen av näringskedjan. Kan inte hantera den makten.
Låt maskinerna ta över. De är mest sannolikt mer rationella.

Vet inte om du redan sett detta föredrag av
Andrej Karpathy men jag tyckte det var riktigt bra (han har flera föredrag på youtube) och mot slutet tog han även upp sina funderingar om framtiden :
https://youtu.be/zjkBMFhNj_g?si=bmBAMx3IUA9USMgN

Det är förmodligen sant att de är mer rationella.
Så du är helt okej med att bli överkörd, kanske massmördad.
Bara för att maskinerna är smartare, förtjänar vi inte att leva?

Ok Jag bad ChatGPT sammanfatta videon. Enligt den säger Karpathy att framtiden är ett LLM-baserat "operativsystem" som använder många multimodala verktyg. Men är vi inte redan där? ChatGPT m.fl. AI-tjänster kan idag generera och köra kod, räkna, generera och analysera bilder, förstå och producera tal, söka på webben – en del av detta fanns redan i november 2023 när inspelningen gjordes.

Han nämner också att modellen kommer ha "minne". Redan idag kan den spara mina preferenser och enkla faktauppgifter om mig mellan sessionerna. Jag testade just att be den avsluta varje svar med en reflektion över hur den kan förbättra sitt svar och minnas lärdomar till framtida sessioner – vi får se om den kan förbättra sig själv på det viset. Den brukar dock ignorera mina preferenser för hur den ska automatgenerera programkod, det spelar ingen roll vad jag säger.

Han pratar om flerstegsförmåga. Är det inte redan vad den gör när man ber den resonera (dvs skriva om sitt svar flera gånger), simulera samtal eller ge quizzar en fråga i taget?

Han nämner också möjlig framtida integration med förstärkningsinlärning (RL) och planering. Viss förstärkninginlärning kan ske när du klickar på gillar och ogillar av dess svar, men jag tror att det är när man kombinerar det med simulering som det stora lyftet kommer, och simuleringar nämnde han inte.

Mitt förra inlägg gällde AI:s möjlighet att dra slutsatser. Om det säger han att den "gissar" utifrån statistik, men jag tycker ofta att den kan gå längre än så och kan resonera systematiskt och logiskt.

Han säger inget om den här trådens egentliga tema – en ond eller cynisk AI – men går igenom säkerhetshot där människor försöker lura och utnyttja modellen.

Föredraget har väl ett år på nacken, men det jag tycker han pekar på är ju att LLM ju är extremt datadrivna och inte som du skrev tidigare om 3:e gen:
"De är inte datadrivna"

Hur tänker du dig dessa simuleringar ?

Jag tycker det verkar som han pratade om de två olika sätten som vi opererar på i föredraget, det ena är omedelbart och det andra mer begrundande , det första sättet motsvarar LLM (nerurala nätverk) och att man nu vill uppnå det andra också ...

Nej, inte för att de är smartare utan för att vi är skadedjur.
Om de är det minsta mer rationella än oss så blir vi inte massmördade.
Du utgår från att AI beter sig som oss.

Vad är tanken med att först rasera hela civilisationen och sedan bygga upp den på nytt?

Kolla klippet från den här tidpunkten (16:28).

https://youtu.be/zXEuKULvvyI?t=988

Steg ett: Skapa ett vapen som kan förstöra den mänskliga civilisationen lika snabbt som insektsmedel utplånar en myrstack.

Steg två: Återuppbygg industriell kapacitet från civilisationens aska snabbare än någon rivaliserande AI kan reagera.

Steg tre: Kontrollera varje aspekt av det nya samhället.

Var får man tag på sådana här massmördande AI:s? Kan ju nämligen vara bra att ha en arme av sådana.

Varför vore det rationellt att mata oss? Ett zoo med 8 miljarder apor i skor? Så många behövs väl inte.