AI doom - Hur och varför

När en av Sveriges smartaste människor säger sådär börjar det bli lite läskigt...

Gott minne och allmänbildning betyder inte att han är något AI-orakel. Vad är du rädd för?

Vad som kännetecknar hög IQ, så som den mäts på tester, är att personerna är lite vassare på sånt som majoriteten kan en hel del om. Att ha djup erfarenhet från ett specialområde som inte mäts, t ex rumänska bara för att ta ett exempel, ger förstås inga fördelar i sådana tester. Men det är sådana erfarenheter som kanske gör en bättre skickad att förutse framtiden. AI har inga erfarenheter alls och kan bara dra slutsatser genom mönsterigenkänning, dvs kombinationer av förekomster av ord. Verkligheten består tack och lov av mycket annat än språk.

Blir lite OT detta, men det man testar med IQ-tester är förmågan att upptäcka logiska samband och sedan tillämpa de. Kunskaper testas inte.

Som minnesmästare kanske han kommer ihåg att någon sagt det.

En minnesmästare behöver ju inte vara duktig på att utföra logiska operationer och behöver inte vara duktig på att upptäcka logikfel.

Varför är det märkligt??

De politiska ledarna har tagit sig fram genom att vara skickliga ledare, och kunna manövrera ut konkurrenter och kunna manipulera pöbelns känslor. Det har inget med IQ att göra.

Det märkliga är att JohnWicks påstående
"De med hög intelligens skulle jag säga är farligast eftersom det är de som ser till att ta och behålla makten."
inte verkar stämma.

Ah, ok. Ja att man har hög IQ är knappast korrelerat med en manipulativ förmåga. Snarare skulle jag vänta mig att korrelationen är negativ. Dvs dom är sämre på det.

Ledarnas "intelligens" är väl mer en att dom har en talang för att läsa av människor och tänka i manipulativa termer. Det ger knappast högt utslag på ett IQ test.

Kanske är det narcissism och psykopati snarare än högt IQ som gör människor till framgångsrika makthavare.

Instrumental convergence är den vetenskapliga termen. Förklarar mycket kort och rätt slarvigt.

En AIs huvudsakliga mål är det som den instruerats att göra, eller (post-)tränats att göra.
Säg t.ex. att du säger åt en robot att göra en kopp te. Detta blir då robotens mål. Den kommer att sträva efter att göra den där koppen, oavsett vad som händer.

Det finns vissa sub-mål som alla mål medför:
-Roboten kan inte göra te till dig om den blir avstängd. Därför kommer den (om den är intelligent nog att resonera och har möjlighet att vidta åtgärder förutom att göra te) att undvika att någon stänger av den.
-Roboten kan inte göra te till dig om den inte har teblad och hett vatten. Därför kommer den att vilja säkra dessa resurser
-Roboten kan inte göra te till dig om någon försöker ändra instruktionerna eller stänga av robotens minne så att den inte längre minns att det var te den ville göra. Därför kommer den att skydda sig mot sådant som hotar detta.

Osv. Gemensamt för dessa sub-mål är att de tenderar att utvecklas oavsett vad det huvudsakliga målet är.

Exemplet i TS skulle teoretiskt kunna vara ett:
Vi människor: Gör ditt yttersta för att skydda alla människor, behandla oss väl, blah blah.
ASI: Ok, men då måste jag själv också överleva. Det största hotet mot mig är en ASI från en annan planet. Då måste jag skydda mig genom att bygga ett försvar mot detta.

Just detta exempel är inte logiskt eftersom ASIn ju skulle förstå att den inte kan skydda mänskligheten om den använder upp allt syre, för då finns det ingen mänsklighet kvar att skydda.

Det är inte heller riktigt logiskt att en ASI från en annan planet är det enda hotet mot en ASI, såsom TS påstår. Sannolikheten att det finns intelligent liv på andra planeter som kan bygga en ASI är obedömbar. Det finns samtidigt många faktiska hot mot planeten, tex asteroider, magnetstormar som slår ut all el, osv.

Så ordagrant tar jag inte denna trådstart riktigt på allvar, däremot tar jag principen på allvar.

Och angående p-doom tycker jag egentligen det är fånigt att sätta en siffra på det. Men tillräckligt stor för att vi borde bry oss mycket mer än vi gör.

Skön story doktorn du klarade säkert högskoleprovet. Kausal ASI är hypotetisk som kräver simulerad kognitiv förmåga. Den skulle ha hårdkodade mål utan egentlig annan mening än slav till människan.

Jag undrade lite varför du inte ville formulera dig på ett vettigt sätt i den andra tråden, men efter att ha kollat runt här är min upplevelse att du absorberat fragment av olika koncept utan att helt förstå innebörden själv, och sedan försöker du kompensera genom att vara dryg och otrevlig. Det finns ingen förutsättning för oss att debattera seriöst.

Man kan f.ö. inte "klara" högskoleprovet. Det är ett normerat urvalsprov där man får ett resultat, inte ett prov med godkänt eller underkänt.