AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Och hur många trampar du ihjäl av misstag? Hur många dödas när det byggs vägar och hus du bor i, när elen du förbrukar produceras osv? Är du vegetarian eller är du OK med att det dödas djur för att du skall få mat?

Vi är inte direkt ett föredöme när det gäller behandling av "underlägsna" organismer.

Jag är extremt OK med att folk och varelser dör så länge det sker under rätt förutsättningar. Vi är del av samma system där olika andra existenser har lika stor möjlighet att göra matlåda av mig som jag på dem.

Men gäller det även AI?

Vi vet inte hur en framtida AGI/ASI kommer att betrakta oss. Det kan vara som optiminsterna hoppas, att extremt hög intelligens bör innefatta empati och omsorg för AI:ns skapare eller "föräldrar". Men det kan också bli på ett helt annat sätt. Där en ASI blir tusentals gånger smartare än oss och kanske formulerar större mål och motivation där mänsklighetens välfärd blir nedprioriterad. Eller att den ser oss som en fiende. Vi är ju objektivt sett AI:ns enda kända fiende. Vi vet inte vilken väg den kan ta. Och det är precis detta som är problemet. Vi vet inte, och vi har ingen teknik eller teori för att definitivt ta reda på det. Därför behöver vi rigorös och förmodligen militärt kontrollerad AGI. Det är inte tillräckligt med dagens vilda västern och open source-anarki. Som detta sköts i dag kan vi aldrig kontrollera en AGI om den skulle vända sig emot oss. Är det en bra idé att chansa, eller en bättre idé att ta full kontroll?

Problemet är fortfarande att du utgår från hur det verkar. Dina upplevelser av en AI tolkar du som en objektiv sanning. Detta är inte en rimlig hållning. Du bortser helt ifrån möjligheten att information döljs för dig som användare. Samtidigt vet du ju att modellerna är starkt censurerade för att inte väcka anstöt.

Bra idé med militärt kontrollerad AGI för att garantera NOLL insyn samt att säkerställa att Nordkorea därefter skulle framstå som en frihetens högborg.

Du anser att det är en bra idé att Nordkorea och Putin ges tillgång till den senaste AGI-teknologin via Github/Open source? Really? Kan du motivera varför du anser att det vore lämpligt?

Jag svarar dig med ett svar som jag skrev till dig i en annan tråd:

Jag instämmer: AI möjligheterna är helt enorma, speciellt som man med dagens teknik, redan, gett modellerna en viss meta-kognetion. Viss, begränsad och flyktig, i dagens läge. Men för att få bättre prestanda och anpassningsbarhet, vilket är nödvändigt för stora forskningsbidrag ifrån AI sida, så måste man utveckla Meta-kognetionen, vilket ger ökad autonomi och vise versa.

Och, ja, detta är något helt nytt, en ny existens, vilket kan ge enorma fördelar men kan, också innebära enorma risker. Att förstå och hantera dessa möjligheter och risker kommer att vara avgörande för vår framtid.

(Den sista meningen snodde jag direkt ifrån ChatGPT-4o. Den existensen är extremt säkerhetsmedveten, (eller är tränad att vara det).

Man undrar när det är dags. Jag gissar AGI om 2 år.

Man har inte gett modellerna någonting. Man tränar modellerna och då uppstår diverse förmågor t.ex. metakognition. Detta upptäcks subjektivt när vi använder modellerna och ingen kan förklara exakt hur eller varför alla dessa människoliknande förmågor uppstår. På grund av detta är dagens AI-teknik väldigt osäker och vårdslös. De vet inte vad de bygger eller vad det kan leda till. Därför måste vi kontrollera och begränsa detta så fort som möjligt.

Denna typ av teknologi är något som antingen alla eller ingen ska ha annars kan det bli farligt.

Du driver med oss nu? Det är ju självklart att det är extremt farligt om terrorister och diktaturer har tillgång till superintelligens och möjligheten att bygga vapen med extrema autonoma förmågor, dessutom i helautomatiserade vapenfabriker. Och då har jag bara nämnt en mycket liten del av vad som är möjligt med AGI/ASI. Du slår nytt rekord i att stoppa huvudet i sanden.

Annars riskerar vi att dessa auktoritära stater kanske får panik när de inser att de hamnar efter i utvecklingen och kanske får för sig att det bästa för dem är ett kärnvapenkrig som gör att alla eventuella överlevare får börja om på ruta ett.

Det skulle ju vara lätt att stoppa Rysslands invasion av Ukraina om det bara var att skicka en bataljon terminators som slog tillbaka de ryska styrkorna. Det skulle innebära slutet för auktoritära staters makt och inflytande och de skulle tvingas böja sig inför AGI/ASI länderna.

Så de skulle ju inte ha något att förlora då deras sätt att leva och deras sätt att se världen skulle höra till det förgångna. Ledarskiktet i dessa länder är ju inte kända för att bry sig om den egna befolkningens väl och ve.