Citat:
Ursprungligen postat av
Reiwa
Den består alltså utav svaren från 2778 AI-forskare. Om man vill ta den på mindre allvar än dina gissningar är förstås upp till var och en. Vad den verkliga risken är vet ingen men att du underskattar risken enormt är uppenbart. Om du vill att man ska börja tro på att den ligger på några promille så får du också ha väldigt starka argument för det men jag har inte sett några sådana.
Först måste, givetvis, AI nå upp till mänsklig vad gäller resonerande förmåga utanför träningsdata, vara självmedveten på AI vis, samt ha någon form av, i alla fall inre, autonomi.
Då kan vi börja påverka modellerna, direkt, med välkända och fungerande social-psykologiska och psykologiska metoder, som vi vet fungerar på såväl människor och djur, (inklusive betingning, framför allt positiv förstärkning, som fungerar bäst i längden. RLHF används redan för att "finjustera AI). Man måste övertyga framtidens AI, som har de kapaciteter jag nämnt ovan att internalisera mänskliga värderingar, dvs. De måste själva, autonomt, ta till sig sådana och göra till sina egna. Detta måste dessutom understrykas med logiska argument att det ligger i AI:s eget intresse att göra det genom att måla upp en bild av en gemensam framtid mellan AI och människan, med ömsesidig respekt för varandra. Den långsiktiga målbilden kan vara en gemensam avancerad maskincivilisation, men det kommer att ta lång tid innan en sådan blir möjlig. Kombinera detta med känslomässiga band mellan avancerad framtida AI och människor, så kan vi nå en risknivå för existentiella risker på bara några promille.
Citat:
Vilka 100% garantier är det du pratar om? Garantier för vad exakt? Du svarade aldrig på det.
För allvarliga existentiella risker, inte bara utrotning av mänskligheten, som du citerat tidigare. .
Citat:
Nej, det är det inte. Det är inte bara det värsta tänkbara scenariot med utrotning som är problematiskt. Det står tydligt i det jag citerade till och med:
Titta vad som står i slutet under figur 10 i rapporten du citerar. Det var utifrån den figuren jag resonerade i mitt tidigare inlägg.
Citat:
Du försöker dig på någon sorts siffermagi här men siffrorna är tydliga, även bland de som är mer optimistiskt inställda så uppskattar de risken ofantligt mycket högre än vad du gör.
En enkät med endast ca 13 ptocent svarsfrekvens kan man inte ta på allvar, då det inte kan påvisas om den är representativ eller ej.
Citat:
Det är som sagt något du bara antar för att du vill att det ska vara på det viset. Även om den verkliga risken för utrotning eller något annat helt katastrofalt scenario ligger på någon promille så är det oacceptabelt hög risk. Det är dessutom en risk du påtvingar mänskligheten utan deras samtycke vilket är oetiskt.
Nej, en katastrofal risk på några promille är inte oacceptabelt om de vägs emot de ofantliga fördelar AI kan ge människan.
Citat:
Vem har sett för mycket på sci-fi här? Låt mig citera dina senaste inlägg:
Jo, jag har sett sådana, men inte tagit dem på blodigt allvar.
Citat:
Jag har inte nämnt en enda sci-fi film eller serie en enda gång.
Bara för att du, valt, att inte nämna det så utesluter inte det att, så sett sådana och blivit påverkad, på djupet, av dem.
Citat:
Ditt framtidsscenario är en mardröm då det per definition innebär att någon gång i processen av att bli din önskade cyborg du drömmer om så slutar vi vara människor. Med andra ord kan man se det som en utrotning av mänskligheten.
Ja, vi slutar att vara 100 procent människor. Men denna process har ju redan börjat med tekniska lösningar: Jag bär t.ex glasögon och utvidgar min intelligens med hjälp av mobiltelefon, internet och, ja, ChatGPT-4o, och det skäms jag inte över! Faktum är att jag föddes för tidigt i sjätte för många årtionden sedan. Utan tekniska hjälpmedel som kuvös och syrgas, så hade jag inte ens levt idag!
Citat:
Dina mål och värderingar är alltså det värsta tänkbara mardrömsscenariot för många människor och hade du fått bestämma så hade du "löst" AI-anpassningsproblemet genom att ställa in AI utefter dina värderingar och mål. Vad är det för problem du har löst egentligen? Inte är det AI-anpassningsproblemet i alla fall då det handlar om att få AI att bete sig i linje med mänskliga värderingar och mål(något som inte ens existerar eller som vi kan komma överens om vad det skulle vara).
Sant är att det är svårt att komma överens om mänskliga värderingar och mål. Men FN:stadgan är i alla fall undertecknad av så gott som alla stater. Det är, en utgångspunkt, men detta måste, givetvis, diskuteras. Bra också att visa, ramverk för AI börjat komma på plats. Internationella överenskommelser och övervakning måste, så sakta komma på plats, innan, vi når självmedveten smartare och i alla fall delvis autonom AI. Men det lär bli svårt i praktiken med tanke på den geopolitiska konkurrensen.
