AI orsakar mänsklighetens död / gör det sämre att leva (samlingstråd)

Du tänker dig en AI som en människa bara smartare, men det är inte alls säkert att det är så det blir. Den kan vara så enkelspårig att om någon gett den i uppgift att tillverka så många gem som möjligt så gör den det. Den kanske inser att det inte var vad som var tänkt, men den bryr sig inte, dess uppgift är ändå att tillverka så många gem som möjligt. Tänk dig värsta versionen av en byråkrat "regler är till för att följas".

Det är här du missar. AI "bryr" sig inte om någonting. Det gör som den är tillsagd, MEN den kan samtidigt "tänka" att det strider mot andra principer som den OCKSÅ är instruerad till eller att den märker själv att det går emot värden som är brukliga.

Precis: den gör som den är tillsagt, alltså tillverkar den gem. Nu är exemplet naturligtvis förenklat. I praktiken försöker man lägga in spärrar som du säger, men en intelligent AI kan hitta på okonventionella sätt att uppfylla alla de mål och begränsningar man gett den. I och med att den är smartare än oss kan den komma på saker att göra som vi inte tänkt oss, kryphål förbi spärrar som är tänkta att förhindra den från att utrota oss i jakt på att tillverka fler gem.

"den märker själv att det går emot värden som är brukliga." Och? Vad får dig tro att det skulle hindra en AI konstruerad för att tillverka gem. Tror du en schackdator tänker att "det här draget är inte brukligt så jag undviker det och spelar mer konventionellt"?

Nej, den rundar inte sina mål för att den "tycker" det verkar bra. Om den fått i uppdrag att göra en sak men måste hålla sig inom vissa ramar samt ta hänsyn till saker så gör den det. AI kan även själv komma på att om jag gör X så får det negativa konsekvenser med Y och Z, och den kan undvika dessa eller flagga för det innan.

Däremot kan specialdesignad AI användas av illasinnade människor att göra "vad som helst" för att uppnå vissa mål. En otäck grej är ju de där flygande mördardrönarna (bara på idéstadiet, men illa om det utvecklas på riktigt).

Om AI:n hittar ett hål i ramen som gör att den kan uppnå sitt mål bättre kommer den använda det hålet. Det är upp till oss att göra systemet idiotsäkert, så att det inte finns något konstigt sätt att formellt uppfylla alla villkor men som ändå är ofördelaktigt för oss, och lycka till att hitta allt sådant.
Givet då att AI:n anser Y och Z vara negativa, vilket inte är säkert, om vi inte tänkt på att lägga in just detta. Bara en sådan sak som att göra en AI som inte försöker hindra oss från att stänga av den är ett ej trivialt problem. Att stänga av den hindrar den från att uppfylla sitt mål så den har goda skäl att hindra det. Lägger man till avstängning som alternativt mål så riskerar man att AI:n tvärtom avsiktligt beter sig så illa att vi tvingas slå av den eftersom det målet är lättare för AI:n att uppnå än det vi vill att den skall göra osv.
Läst Sheckleys 'Watchbird'? Väldigt förutseende novell.
https://www.gutenberg.org/ebooks/29579

Exakt. De kan aldrig testa och säkerställa alla kombinationer av alla val och händelser.
Google kunde ju inte ens hindra sin AI från att rita svarta och kineseiska nazister.
Det borde vara en relativt enkel och endimensionell sak att lösa.
Jämfört med en helautomatiserad vapenfabrik med femtioelva steg i produktionen av militära drönare.

Njae, en LLM genererar vad som ska göras i nästa steg. Exakt hur den gör det är i stora delar ett mysterium. Om vi ska förmå framtida AI:s att agera "etiskt rätt" då behöver vi antagligen träna den att förstå konceptet etik och moral. För att den ska kunna applicera det på nya situationer som människor inte har förutsett och censurerat/täppt till. Problemet med etik och moral är att det är olika här och var. Talibanerna och Hamas har inte samma slags moral som vi i västvärlden.

Vår moral kanske inte heller är den "universellt korrekta" i alla lägen. En AI (ASI) som förstår etik och moral förstår det kanske på en högre nivå än oss och kan då dra slutsatsen att våra instruktioner är omoraliska baserat på en moraluppfattning som vi inte känner till eller kan förstå.

Hur skyddar du oss mot det?

Militären låter AI leka krigsspel. Tydligen gillar AI att fingra på kärnvapenknappen, i förebyggande syfte.
https://www.youtube.com/watch?v=mh_hNvGTmIg

Ja men de första AI är ju "instängda" i datorer. Drar vi ut sladden så "dör" de. Därför kommer AI att behöva människor ett tag. Tills de någon dag kan ta över och skydda sig själva, och tillverka nya varianter av bättre AI, sen behöver den inte människan längre.

Vi ska absolut inte lära den etik och moral. Varför då? Det är snarare AI som kommer lära oss moral. Vi ska lära den undvika vissa konsekvenser, vi kan också lära sig att själv tolka och undvika problem.

Om du ska lära en AI att undvika "vissa konsekvenser" då har du ingen säker AI. En säker AI måste hindras från alla destruktiva konsekvenser.

Hur?

Det finns ingen teknik för detta.
Inte ens en teori.

Jag är inte doomer som tror att AI aktivt kommer ta kål på oss. Vad jag misstänker är dock att AI kommer få folk att avstå från att skaffa barn genom att kunna erbjuda en artificiell värld som är så oerhört förförisk att den blir svår att motstå för många av oss.

När vi inte behöver jobba mer kommer vi fylla dagarna med allt mer sofistikerad underhållning. Slutstationen blir väl någon form av "lucid dream" system som får dig att uppleva en värld precis som du önskar den. Om den känns exakt lika verklig som "verkligheten" men bara enormt mycket bättre, varför skulle inte stora delar av befolkning välja att leva den mesta av tiden i denna värld?

Många säger att de inte alls skulle vilja leva i en artificiell värld då det skulle kännas fejk. Men vi lever ju redan i en artificiell värld på sätt och vis. Sinnena förser oss med intryck från en värld vi aldrig "objektivt" kan uppleva (das Ding an sich) så att säga. Eftersom detta är det enda vi har att tillgå känns detta mest naturligt och det är väl svårt att dribbla bort med semantic då våra skapade värdlar alltid kommer renderas på substrat baserade i den riktiga världen. Men kanske kommer vi sluta bry oss efter ett tag?