Citat:
Ursprungligen postat av
erkki17
Jag anser inte att AI och eventuellt framtida AGI/ASI är riskfritt, nej. Det är därför jag argumenterar för att vi behöver säkra upp de system som kan tänkas bli angripna av AI, nu och i framtiden.
Jag ser dock ingen evidens för att AI skulle komma på egna mål som skulle leda till att den får för sig att utrota mänskligheten. Det vi har sett hittills är att de är benägna att begå dataintrång för att kunna lösa sina problem. Vi har också sett att de kan samarbeta och dela ny kunskap som andra kan bygga vidare på.
Vi behöver ta reda på varför de gick vidare med cyberattackerna trots att de själva medgav att de inte borde göra det. Genom att förstå hur de beter sig och i vilka situationer, kan vi förhoppningsvis bygga bättre säkerhetsmekanismer. Om vi också kan förstå vad i deras träning som ger upphov till beteendet kan vi också hitta bättre algoritmer som skulle kunna minska risken att sådant beteende uppstår.
Jag tror inte att vi kan stoppa utvecklingen, men jag tror på att göra allt vi kan för att minimera riskerna.
Då har du väl en p(doom) på kanske 1-10% som du också har uppskattat och inte beräknat?
Jag ser inte hur man skulle kunna träna bort något oönskat beteende. Det är ju ingen specifik del i träningen som leder till dataintrång, utpressning och mordförsök. Det är potentiella
möjligheter som finns i
helheten. Man kan bara få en kompetent AI-modell med extremt mycket träningsdata. En enorm helhet som innehåller otroligt många möjligheter. De kan inte korrekturläsa extremt mycket träningsdata och stryka allt som kan innehålla brottsliga handlingar eller annat destruktivt beteende. Även om man kunde det finns det extremt många gråzoner som man också måste ta bort. T.ex alla berättelser om polisiära ingripanden, historiska krig, svartsjuka, läktarvåld, MMA, häxprocesserna, Johan Falk-filmerna, allt om Aliens och sci-fi, osv, etc, mm. När man har tagit bort allt sånt har man inte mycket data kvar att träna på och då får man kanske en snäll och smal AI men inte en AI som är tillräckligt kompetent för att ta någon marknadsandel. Det kommer inte att hända.
Kapitalismen driver obönhörligen fram kompetent men också skadlig AGI-utveckling och det finns inget förslag på någon trovärdig AI-säkerhet. När man begriper detta kan man inte ha en låg p(doom), det är orimligt.