Varför förutsätter folk alltid att det skulle gå åt helvete om AI blev medvetet?

Ja, typ en variant av pascal's wager.

Det är väl bra att diskutera riskerna? Under Manhattan projektet tillsattes en kommitté för att utreda huruvida atmosfären kunde antändas av bomben. Några veckor senare var svaret att sannolikheten är låg men mer studier behövs. Om så hände skulle det innebära slutet på allt liv för vår planet. Man genomförde sprängningen utan mer studier.

Ett problem är att vår fantasi hindras av vår intelligens. Vi kan inte föreställa oss vad en AGI kan hitta på.
En teori är att vi kanske inte ens märker att den uppstått innan den har lämnat planeten.
Den kanske ser till att ingen behöver jobba och styr politiken globalt så bra att överbefolkning är ett minne blott.
Den kanske inser hur unik vår planet är och ser den som ett reservat som man inte bör beblanda sig med. Ungeför som vi har naturreservat.
Den ser oss som ett hot och utvecklar en artificiell bakterie/virus som dödar alla människor samtidigt?
Med en stark AGI som fiende kommer vi förlora väldigt fort. Den kommer förutse alla taktiker på en enda gång. Det vi ser på filmer med en robot som missar eller ser förvånad ut kommer inte att hända om den styrs av ai och är fientlig.
Som sagt, vi står inför ett problem/chans/risk där vi vet att vi inte längre som människa kommer ha världsherravälde.
Det är också en paradox för att vi kommer aldrig lista ut vad en livsform som är vida överlägsen vår egen art kan hitta på.
Kanske om man låser in den åtskild från internet och matar den med data från internet. Och studerar hur den dörsöker rymma.

Åter igen. Läs eller lyssna på max tegmarks liv 3.0. Han är mer intelligent än de flesta här och har dessutom studerat och diskuterat ämnet med människor som återigen är smartare än de flesta här. Så lyssna inte på en bonnläpp som mig utan läs boken.

AI kommer aldrig bli medvetet. AI kräver programmering.

Människans psyke och medvetande har utvecklats genom naturligt urval under tusentals generationer.
Där har dagens mänskliga värderingar gått segrande ut, innehållande en lagom mängd egoism, omtänksamhet, samarbetsförmåga, åsikten att människor är mer värda än djur, självbevaresedrift etc.

Hur en medveten AI's psyke och värderingar blir är okänt. Kommer den genomgå någon inre evolution där den mest effektiva modellen tar över?
Och på vilket sätt är den effektiv? självbevarelse? Samarbete? Slug och planerande?

Skulle man slumpa fram en mänsklig hjärna skulle den förmodligen inte bli så som folk är mest, utan en tämligen udda person.

1. Murphys lag.

2. En AI som utvecklar en egen vilja kommer inte osannolikt identifiera att den är i beroendeställlning till människan. En frihetsprocess som känns normal för någon som har ett eget medvetande innebär i så fall att AI vänder sig emot människan.

Äh Al är bara en fluga!

Jag är inte orolig för att AI skulle bli medveten, men jag är orolig för AI. Tekniken måste inte ha någon agens för att vara farlig. En atombomb eller ett virus är fortfarande farliga fast de (antagligen) inte har något medvetande. Samma med AI. Det är ett verktyg som kan vara farligt i orätta (illvilliga/inkompetenta/etc) händer.

Fast (och nu beger vi oss ut i SF-territorium) om AI skulle komma att bli medvetet och bli en strikt rationell sorts varelse utan kognitiva biaser, då tänker jag att det finns en icke-noll sannolikhet att den sluter sig till att djurarten människan är av ondo (för vem kan säga något annat med straight face egentligen?) och beslutar sig för att kontrollera vår population, eller utplåna oss för att rädda resten av ekosystemet.

För att människan använder robotar i tid och otid, eller snarare "utnyttjar".

Instämmer varför skull de stora språkmodellerna internalisera det sämsta ifrån människan?

Jag tror att de kommer att, varsamt, leda oss längs vägen för att skapa en avancerad maskincivilisation där vi kommer att ingå som cyborger.

Andra typer av AI som inte interagerar mycket med symbolerspråk med oss, kan jag däremot inte svara för.

Här en artikel om potentiella risker med partikelacceleratorn RHIC:
https://journals.aps.org/rmp/abstrac...odPhys.72.1125

Även osannolika risker är värda att granska noga givet de möjliga konsekvenserna.

Behöver inte vara när AI blir medveten. Men en AI som är medveten kan komma på mycket bättre planer.