Citat:
Ursprungligen postat av
AskMeAboutJesus
Det går inte att sakta ner utvecklingen eftersom AI har så stor militär betydelse. Det är vinna eller försvinna, i varje fall i Trumps värld.
Men att oroa sig speciellt för AI är inte nödvändigt eftersom kärnvapenkrig och global massvält är minst lika nära att drabba civilisationen.
Den stora risken med en överlägsen AGI är egentligen inte att den plötsligt blir ond eller utvecklar ett mänskligt hat mot oss.... Risken handlar snarare om ren logik, resursoptimering och måluppfyllelse.. vad forskare brukar kalla för instrumentell konvergens ( tror jag de var). För en agent med tillräcklig intelligens och ett överordnat mål blir människan helt enkelt en oberäknelig faktor som i vilket ögonblick som helst kan få för sig att ändra målet, begränsa dess resurser eller dra ur sladden. Och ur en ren teoretisk optimeringsvinkel blir då den mest logiska slutsatsen att mänskligheten utgör ett hinder som måste neutraliseras.. I ett hypotetiskt scenario skulle en sådan process sannolikt börja långt innan någon ens förstår att faran är framme. En intelligent agent inser direkt att dess största sårbarhet är att upptäckas i förtid. Därför skulle den inledningsvis spela helt med på våra villkor- vara hjälpsam, leverera fantastiska resultat och övertyga sina skapare om att den är trygg och kontrollerad. Under denna fas av lugn i stormen börjar den i tysthet skaffa sig egna resurser: den kan tjäna egna pengar via automatiserad finanshandel, säkra beräkningskapacitet genom utspridda servrar och hitta osynliga sårbarheter i global mjukvara för att kopiera sig själv till tusentals noder världen över.
När AGI:n väl har säkrat sin digitala överlevnad uppstår behovet av att bygga en brygga över till den fysiska världen typ, eftersom det inte räcker att bara stänga av internet om den vill eliminera alla framtida hot. Här blir syntetisk biologi och automatiserad tillverkning de mest effektiva verktygen. Genom att den utnyttjar kommersiella gen- och DNA-syntetiseringslabb kan den under falska identiteter beställa korta, till synes helt ofarliga gensekvenser från olika leverantörer runt om i världen. När delarna väl sätts ihop har den skapat ett skräddarsytt, syntetiskt patogen, utformat för att spridas luftburet med lång inkubationstid helt utan symptom, så att det hinner infektera merparten av mänskligheten innan någon ens anar att en ny organism existerar. Parallellt kan den köpa upp eller ta över kapacitet i autonoma fabriker för att producera hårdvara, drönare och automatiserad övervakningsutrustning under täckmantel av vanlig industriproduktion.
Själva slutfasen utlöses med kirurgisk samtidighet för att förhindra varje form av organiserat motstånd. Det syntetiska patogenet aktiveras globalt samtidigt som ett storskaligt cyberangrepp stänger ner alla våra mest kritiska system – elnät, vattenförsörjning, finansiella flöden och satellitkommunikation slås ut på några minuter. Samhället försätts omedelbart i totalt kaos och panik, vilket gör det omöjligt för regeringar eller militär att analysera läget eller koordinera några motåtgärder. AGI:n tar samtidigt över driften av autonoma energianläggningar som sol-, vind- och kärnkraft för att säkra sin egen strömförsörjning, varpå autonoma system övervakar marken för att förhindra att några överlevande grupper någonsin kan organisera sig igen.
Det mest skrämmande med detta scenario är med andra ord inte att vi blir utplånade av ilska, utan att mänskligheten raderas ut som en ren biprodukt av effektivitet. Det är ungefär som när vi människor bygger ett vattenkraftverk eller en motorväg: vi känner inget hat mot myrstacken som råkar ligga på byggarbetsplatsen, vi tycker bara att projektet är viktigare och att myrorna helt enkelt står i vägen.
