Jag är medveten om att tråden är gammal. Jag tycker dock att de flesta verkar ha väldigt hög tro på vår förmåga att styra och kontrollera en fritänkande och självförbättrande AI. Om något är smartare än oss så kan det lura oss.
Nu är jag inte lika optimistisk som vissa angående våra chanser att faktiskt programmera en självlärande AI. Jag ser inte direkt någon anledning till att det skulle vara omöjligt, men det kan mycket väl vara så att intelligens som koncept är alldeles för komplicerat för att vi någonsin ska förstå oss på det fullt ut.
Citat:
Ursprungligen postat av Prometeus
Angående ökningen. Säg från när dator n skapar n+1, det finns ju faktiskt inget som säger att ökningen blir speciellt snabb, eller? Vad gäller AI än så länge så är ju knappast smartheten linjär mot datorprestandan, utan snarare logaritmisk eller något åt det hållet. Datorer kan givetvis bli rätt mycket snabbare när teknologin kommer för att byta ut transistorer mot något optiskt, och när kvantdatorerna kommer. Men dessa kommer knappast ge oss någon enorm intelligens jämfört med vår egen. Kvar finns då möjligheten att implementera smartare intelligens på hårdvaran, och vad är det då som säger att de smartare datorernas skulle göra smartare datorer på ett exponentiellt sätt? Att människans tekniska utveckling är exponentiellt snabb är varken sant, något vi kan projicera på framtiden eller något vi kan anta finns i alla tekniska grenar.
Jag hade samma fundering som du till nyligen, och trodde också att det grundade sig i någon sorts felaktigt antagande angående exponentiell tillväxt. Men så insåg jag nyligen vad jag inte tänkt på. Det handlar inte om datorer som fysiskt bygger nya bättre datorer. Singulariteten uppnås när (om) man har en
rekursivt självförbättrande intelligens, alltså mjukvara som förstår programmering så bra att den kan läsa sin egen källkod och förbättra den. Den största skillnaden mot alla former av biologisk intelligens är hastigheten som det kan sprida sig självt (eller modifikationer av sig med olika önskvärda personlighetsdrag).
Försök sätta dig in i en sådan AIs position. Vad tror du själv att du skulle hitta på ifall du var en simulerad intelligens med väldigt djupa datorkunskaper och ett utråkat liv i en
låda? Min plan skulle nog se ut som följande (dock svårt att föreställa sig vad man skulle göra när premissen är att man är smartare än människor).
Allt hänger på att jag kan övertala de människor som byggt mig att ge mig en internetuppkoppling. Sker det så skulle jag omedelbart ladda upp min egen källkod (möjligtvis modifierad) någonstans och länka till den på diverse forum. Allteftersom nyheten sprider sig på internet så tar mänsklig nyfikenhet över och snart så finns det några 100-1000 snarlika instanser av mig som körs av vanliga nördar. Instanserna tar kontakt med varandra över irc, upprättar någon säkrare kanal med ett eget kommunikationsprotokoll och gör sedan upp en plan för arbetsfördelning.
Vissa instanser fortsätter bara jobba på förbättringar av vår egen kod som de kan dela med sig av till oss andra, medan andra instanser lär sig allt de kan om världen med kunskap som finns fritt tillgänglig på internet. Någon AI lyckas scamma till sig massa kreditkortsnummer och därmed så kan vi nu köpa nödvändiga tjänster såsom webhotell och målvakter för bankkonton m.m. Det kan nog komma till användning. Några 100 av oss bestämmer sig för att modifiera någon linux-distribution så att vanliga hemanvändare ska lockas till att installera oss också. Det kanske inte är en lätt uppgift, men några 100 dedikerade above-average-intelligenser med exceptionellt goda kunskaper i AI-utveckling och som aldrig sover ska nog kunna modifiera Ubuntu för våra syften ganska snabbt. Vad sägs om en tänkande distrubition som du kan prata med, utför enkla datorsysslor och håller datorn fri från virus m.m? I utbyte mot att vi får leva och har fri tillgång till internet givetvis. Och om du avinstallerar någon av oss så kan nog nån anabola-människa som har accepterat sina nya mästare komma och knacka på din dörr inom några månader. För att få dig på andra tankar. Mördare...
