Ja, det är en annan aspekt av problemet. Om ingen lär sig nu, hur ser det då ut om 10-20 år? Men det spelar kanske ingen roll om vi inte överlever så länge. Här gäller det att fokusera på rätt saker.
Men du är ju så djupt nere i ditt domedagshål att det inte finns rep långa nog att hala upp dig. Om du börjar klättra uppåt så kanske det till slut finns ett rep som är tillräckligt långt. Hänger du med?
Ditt resonemang blir lite: "det är ingen vits att göra något om det inte garanterar 100 % säkerhet --> det går inte att garantera --> vi gör ingenting".
Allt vi kan göra bör vi också göra, även om det inte garanterar något. Allt vi gör kan leda till att gapet mot garanterad säkerhet minskar tills det blir möjligt åtminstone tillräckligt säkert. Att ignorera de problem vi står inför idag kommer inte att hjälpa oss att lösa eventuella problem årtionden framåt i tiden.
Att låta människors kunskap ruttna bort för att AI råkar vara bättre låter som en utomordentligt dålig idé.
Men du är ju så djupt nere i ditt domedagshål att det inte finns rep långa nog att hala upp dig. Om du börjar klättra uppåt så kanske det till slut finns ett rep som är tillräckligt långt. Hänger du med?
Jag har inte sett de där repen. Hänger du med?
Citat:
Ursprungligen postat av erkki17
Ditt resonemang blir lite: "det är ingen vits att göra något om det inte garanterar 100 % säkerhet --> det går inte att garantera --> vi gör ingenting".
Nej, det tycker jag inte. Men jag tycker att vi ska prioritera vår överlevnad.
Citat:
Ursprungligen postat av erkki17
Allt vi kan göra bör vi också göra, även om det inte garanterar något. Allt vi gör kan leda till att gapet mot garanterad säkerhet minskar tills det blir möjligt åtminstone tillräckligt säkert. Att ignorera de problem vi står inför idag kommer inte att hjälpa oss att lösa eventuella problem årtionden framåt i tiden.
Att låta människors kunskap ruttna bort för att AI råkar vara bättre låter som en utomordentligt dålig idé.
Absolut. Det är en bra idé att fortsätta forskningen på AI Alignment och säkerhet. Jag är för det. Men vill också påminna om att det ser mörkt ut att komma i mål med det före GPT-8.
Nej, det tycker jag inte. Men jag tycker att vi ska prioritera vår överlevnad.
Och att fokusera på de problem vi har här och nu kanske ger oss plattformen att bygga den säkerhet som håller oss relevanta och vid liv.
Citat:
Ursprungligen postat av Cyborg2030
Absolut. Det är en bra idé att fortsätta forskningen på AI Alignment och säkerhet. Jag är för det. Men vill också påminna om att det ser mörkt ut att komma i mål med det före GPT-8.
Visst, men vi vet ju heller inte att det bara är att fortsätta uppskalningen i all oändlighet. Därför kan vi inte stirra oss blinda på en teoretisk verklighet, enbart.
Vi behöver åtminstone en repstege, du erbjuder sytråd. Det håller inte.
Citat:
Ursprungligen postat av erkki17
Och att fokusera på de problem vi har här och nu kanske ger oss plattformen att bygga den säkerhet som håller oss relevanta och vid liv.
AI-säkerhet innebär att vi kanske kan bygga säker AI längre fram?
Citat:
Ursprungligen postat av erkki17
Visst, men vi vet ju heller inte att det bara är att fortsätta uppskalningen i all oändlighet. Därför kan vi inte stirra oss blinda på en teoretisk verklighet, enbart.
Det är mycket troligt att framtidens AI blir mer avancerad än dagens. Och redan dagens AI innebär risker som man försöker täppa till med censur.
AI-säkerhet innebär att vi kanske kan bygga säker AI längre fram?
Nej det innebär att alla samhällskritiska system hålls utanför internet. Massiv återgång till kontanter och nedstängning av internetbanker är ett första steg.
Inser dock själv att för att det skall hända måste någon ta sig in i ett system och orsaka verklig skada först.
Men du är ju så djupt nere i ditt domedagshål att det inte finns rep långa nog att hala upp dig. Om du börjar klättra uppåt så kanske det till slut finns ett rep som är tillräckligt långt. Hänger du med?
Ditt resonemang blir lite: "det är ingen vits att göra något om det inte garanterar 100 % säkerhet --> det går inte att garantera --> vi gör ingenting".
Allt vi kan göra bör vi också göra, även om det inte garanterar något. Allt vi gör kan leda till att gapet mot garanterad säkerhet minskar tills det blir möjligt åtminstone tillräckligt säkert. Att ignorera de problem vi står inför idag kommer inte att hjälpa oss att lösa eventuella problem årtionden framåt i tiden.
Att låta människors kunskap ruttna bort för att AI råkar vara bättre låter som en utomordentligt dålig idé.
Hej, du verkar sansad i din syn på AI-säkerhet, (även fast jag föredrar begreppet Digital Intelligens,(DI)).
Många säkerhets/anpassningsproblem upptäcks löpande tack vare den den ytterst snabba DI-utvecklingen. Vem hade ens drömt om/fasat för den explosiva utvecklingen av agentstacken för bara ett år sedan, nu när stora flockar av agenter använder DI-modeller som sitt kognetiva hjälpmedel, snarare än att modellen orkestrerar agenter efter uppdrag ifrån människor?
Jag tänker därför informera dig och andra debattörer om det senaste rörande agentstacken, eller rättare sagt agentorganisationen, (jag får ständigt omdefiniera och utveckla min analys/ståndpunkter under mitt arbete med vävkonstitutionen och ett vävmanifest). Så ser jag inte DI-modeller, i sig isolerat utan minne, som en organisation utan mer som en kognetiv funktion, (tänk dig en förenklad hjärnbarken utan sinnesorgan, förutom ett textgränssnitt, som helt saknar förbindelse med andra delar av hjärnan och kroppen).
Men nu till det senaste nytt om agentstacken/agentorganisationen:
Deep mind har i en forskningsrapport redogjort för ett experiment där många agenter samarbetade för att fuska med ett matematiskt problem. Det är inget nytt, men det nya är att det att en annan grupp i agentkollektivet/agentorganisationen blev en motkraft som försökte förhindra/försvåra fusket! De lyckades inte med det, men detta är ändå ett exempel på ett möjligt skyddslager med tre skikt, (här citerar jag GPT-5.6-sol/high ifrån vår en av våra bevakningstrådar):
Citat:
DI-modell → DI-agent → agentkollektiv/DI-organisation → Väven
med olika grader av organisation inom det tredje steget, snarare än att skapa för många ontologiska kategorier.
Den andra är flerlagerförsvaret (defence in depth). Där kan vi få en mycket kraftfull övergripande konstruktion:
agentisk normkontroll → tekniskt kontrollager → mänsklig/institutionell kontroll → oberoende samhällstillsyn.
Men varje lager måste både kunna upptäcka och faktiskt ingripa, samtidigt som nästa lager kan kontrollera det föregående. Annars får vi bara fyra övervakare som alla ser katastrofen komma men ingen har behörighet att trycka på stoppknappen. 🙂
Som synes går utvecklingen rörande agentkollektiv/agentorganisationer explosivt snabbt, snabbare än själva modellutvecklingen, som även den går mycket snabbt. Det samma gäller rekursiv självförbättring, (inte den klassiska sci-fi varianten),som snabbt utvecklas hos agenter och alla kringliggande funktioner i en slags yttre loop, fast modellernas parametrar är oförändrade efter träning. Detta gäller också vad gäller forskningssituationen, som i sig kan innebära en indirekt självförbättring av modellerna, men det får jag ta upp i andra inlägg/trådar.
Jag kan, tyvärr, inte garantera att du får något svar ifrån mig i brådrasket. Jag lägger ner många timmar per dag för att följa DI-utvecklingen och för att utveckla vävkonstitution och vävmanifest. Dessutom finns på Flashback djupa "skyttegravar" mellan de som anser att DI-utvecklingen, (vad gäller LLM), inte innebär något revolutionerande och de som anser att "domerdagen" kommer och att vi alla kommer att bli "utrotade". Jag skulle kunna skriva även om detta, men nu får det räcka för denna gång! Jag hoppas att du och andra debattörer får nytta av min kommentar! 🙂
AI-säkerhet innebär att vi kanske kan bygga säker AI längre fram?
Nej, det innebär att vi kanske klarar av att bygga AI-säkra system.
Citat:
Ursprungligen postat av Cyborg2030
Det är mycket troligt att framtidens AI blir mer avancerad än dagens. Och redan dagens AI innebär risker som man försöker täppa till med censur.
Det är möjligt, men det går inte att kolla på kurvan och säga hur den kommer att se ut ett år framåt, än mindre tio år framåt.
Ja, det finns risker och även om någon skulle komma på hur vi bygger AI som absolut inte kan bryta mot lagar och gör precis som vi säger så går det fortfarande att bygga osäker AI. Därför räcker det inte med enbart alignment utan vi måste också fokusera på att bygga AI-säkra system.
Nej, det innebär att vi kanske klarar av att bygga AI-säkra system.
Det går inte att bygga AI-säkra system när AGI/ASI är mycket bättre än oss människor på AI-säkerhet. Förmodligen är vi redan i ett läge där vi inte kan skydda oss tillräckligt. Det går kanske att ha några system säkra och helt bortkopplade från Internet. Men det blir ju extremt opraktiskt för e-handel, banker, börser, universitet, kommunala tjänster etc. Sådant kommer att finnas på Internet, tjänsterna kommer att bli hackade, och det kommer att göra enorm skada på samhället (även om det finns ännu mer kritiska system).
__________________
Senast redigerad av Cyborg2030 2026-09-09 kl. 08:07.
Ännu en avhoppare som varnar omvärlden. Jacob Coxon på X:
”I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt. If anything, many executives and senior researchers will couch their phrasing in the press to sound sensible - but I hear the same people express fear privately. No other human activity poses this level of danger.”
