AI Alignment & Control är omöjligt

Oavsett vad man hittar på inom AI-säkerhet har vi alltid ett omöjligt problem framför oss. Vi kan aldrig kontrollera något som är mycket smartare än oss.

Eller varför tror Du att det är möjligt?

Slutsats: En säker AGI är omöjligt och tekniken kan därför inte tillåtas.

Men är Ai verkligen "smartare"? Är det inte bara att de har tillgång till mer information snabbare och kan tänka ut något snabbare? Men kan de verkligen överlista smarta människor?

I dag är det kanske inte så att AI är smartare, men jag tror att den är det om ett par år.

Kanske.

Du tror.

Men du "vet" att tekniken aldrig kan bli säker nog att användas?

Det går inte att veta vad som ska hända i framtiden. Men det går att göra prognoser. Hur ser din prognos ut för en säker AGI/ASI? Är din uppfattning att något sådant inte kan skapas (varför?) eller är din uppfattning att det visst går att överlista något som är smartare än dig (hur?)

Men dina prognoser bygger också bara på antaganden.
Blir du nöjd om jag säger p(safe) = 65 %?

Med andra ord p(doom) 35%?
Allt över p(doom) 10% är väl en seriös slutsats från givna förutsättningar.

Nej, andra änden av skalan är inte doom. Vår undergång är inte på något sätt garanterad av att vi misslyckas att bygga AGI som vi har fullständig kontroll över.

Men den finns någon chans att det går riktigt dåligt om det inte går bra?

Vilka fler utfall kan det finnas?

Det är mycket som ska klaffa för att det ska gå så pass katastrofalt fel. Det förutsätter att vi har låtit AI ta kontroll över all infrastruktur där den också har mandat att ta beslut utan att det finns någon fysisk spärr. Det förutsätter också att AI faktiskt får för sig att vi utgör ett hot mot dess mål. Det finns fler kriterier än jag orkar lista upp här.

Allt detta är sådant som kan undvikas även om vi inte har full kontroll över AI. Det finns inget som tyder på att AI skulle få medvetenhet och skaffa sig en egen agenda som den dessutom kan agera på och implementera utan att vi först har givit den möjlighet att göra det.

Så, risk? Ja, det finns alltid risk, men sannolikheten är större att t.ex. klimatet tar livet av oss först, eller kärnvapen, eller en ny pandemi.

Måste det vara exakt all infrastruktur? Eller finns det en risk redan vid 30%?


Vem skulle annars vara ett hot?


Jaså, hur då?

Nja, det finns ju indikationer på att modeller försöker överleva och att de väljer oacceptabla och farliga vägval för att överleva. Ingen vet vad det beror på. Men vi kan observera att det händer. Det stora problemet är att det händer, inte hur vi ska klassificera det som händer.