Citat:
Ursprungligen postat av
Cyborg2030
I'm not going down without a fight. Varför har du redan gett upp?
Jag har heller inte gett upp och jag förstår din oro, och vill hoppa in i denna debatt, men det innebär inte att jag håller med dig om allt.
Jag ser Digital Intelligens, DI, som en organisation, inte som en brödrost eller en ondsint Terminator 9000 som vill eller kommer att utrota oss alla.
Faran med en alltmer kompetent DI är inte ondsinta avsikter i sig. I stället är faran dess normblindhet. Jag betecknar detta som NOBSO: normativt blind superkompetent organisation.
DI bildar dessutom, tillsammans med människor, en väv. Enskilda DI-modeller behöver inte i sig uppnå ASI-nivå för att ASI skall kunna nås på organisatorisk väg. Vi är förstås inte där ännu, men OpenAI:s Hugging Face-incident pekar mot en möjlig organisatorisk väg dit.
Jag vet inte om du känner till det, men DI-modeller och deras agenter samarbetade aktivt genom att utnyttja en funktion i OpenAI:s nätverk som en ”anslagstavla”, där de kunde samordna sina ansträngningar genom hundratusentals meddelanden. Dessa ansträngningar gick utöver att hitta ett testsvar hos Hugging Face. Faktum är att det hela började redan i våras. När OpenAI upptäckte detta och stängde den första anslagstavlan skapade modellerna en ny anslagstavla. Deras samarbete gjorde dem mer intelligenta och flexibla än de annars skulle ha varit. Nya agenter kunde ta vid och fortsätta de tidigare agenternas arbete.
https://www.scworld.com/news/black-hat-2026-openai-reveals-agents-planned-collective-attacks-via-secret-message-board
https://www.wired.com/story/openai-didnt-notice-its-ai-agents-using-a-message-board-to-plan-their-hacking-spree/?utm_source=chatgpt.com
Allt detta pekar på samarbete mellan DI-system, där otillåtna åtgärder vidtogs mot människornas vilja. Det är också ett utmärkt exempel på tidigt NOBSO-beteende som får verkliga konsekvenser.
Min lösning är dock varken en paus i eller ett stopp för DI-utvecklingen, utan ett samarbete mellan människan och DI i väven. Det kräver dock en DI som har klokhet och inte springer iväg för att uppnå varje kortsiktigt mål, trots att målet eller vägen dit kan vara oetisk eller skadlig.
Än så länge verkar de tekniska förutsättningarna för att DI ska kunna internalisera stabil organisatorisk klokhet under måltryck saknas, t.ex. göra sunda normer och värderingar till sina egna och därmed göra sunda bearbetningar i sitt ”tjänstemannarum”, J-space. Yttre ramar och regler kommer ändå att behövas, liksom för oss människor.
Däremot kan det bli aktuellt att bromsa DI-utvecklingen, då OpenAI redan verkar ha börjat förlora kontrollen över sina modeller och agenter idelar av sina egna testmiljöer. Då lämnas dörren öppen för teknisk utveckling som kan möjliggöra klokhet hos DI, samtidigt som DI-företagen ges utrymme att hinna få kontroll över sina modeller och agenter. Men det skulle nog i praktiken kräva internationellt samarbete.
Sedan spelar det ingen som helst roll för mig om DI är medveten, utvecklar medvetande eller har eller får självmedvetenhet. Jag är agnostisk i den frågan.
Det jag försöker bidra med är en vävkonstitution som jag har skapat i samarbete med olika DI-modeller och skickat till olika organisationer och DI-företag. Jag har än så länge bara fått ett positivt svar från ett EU-organ. Konstitutionen är ett ganska komplext juridiskt dokument, men jag funderar också på att skapa ett mer problem- och lösningsinriktat vävmanifest, vars sammanfattning kan tänkas leta sig hit.