2026-08-04, 19:32
  #433
Medlem
DAGGER[X]s avatar
Citat:
Ursprungligen postat av erkki17
Man kan såklart fantisera om det mesta, men det betyder inte att det är sannolikt att det kommer att hända.

Det krävs väldigt många hopp för att komma till ett sådant scenario.
Jag kan inte göra radbrytningar i mina inlägg så det blir lätt lite Wall men det är felanmält och forumet kan inte göra något verkar det som.
Du kan se ett exempel på det scenariot jag beskriver här: https://www.youtube.com/watch?v=Gw_hnD7m00M- Du får nog förklara varför det är osannolikt när det redan händer, vi har redan minst tiotusentals olika AI system idag som jobbar på allt möjligt. Det investeras lika mycket som ett tjog dussin Manhattan projekt i AI och varenda företag som går in och satsar gör alltså det, kan du gissa varför? För att dom tänker tjäna pengar. Det hade vart en helt annan sak att prata hypotetiskt om sånt här låt säga den 3 augusti 2018 eller 2009 då inte något fanns på bordet. Men detta händer alltså just nu. Hela hacket av Bitcoin nu i dagarna skedde förmodligen med AI hjälp, det tog Claude 5 min efter prompt att hitta buggen i Coldcard.
Läser man mellan raderna här har Kina redan blivit utsatta för AI hacking. Dom gör själva olika intrång hela dagarna så det är inte något konstigt att stater ger sig på varandra. Men snart har dom sina egna system med statligt stöd som hackar tillbaka och andra hållet. Då har vi alltså gigantiska AI system som krigar med varandra och skapar ett selektivt tryck för mer aggressiva och kapabla modeller.
Citat:
China is growing anxious that Anthropic’s Mythos could be wielded against the world’s second-biggest economy, adding a volatile new issue to already-heightened tensions before a planned summit between Chinese President Xi Jinping and U.S. President Donald Trump.
Officials in Beijing are concerned about the cyber capabilities of Mythos and other artificial intelligence frontier models developed by U.S. companies, according to people familiar with the matter, who asked not to be identified discussing sensitive matters. They see the potential for models such as Mythos to be used as an offensive weapon, and question why Anthropic is denying China access to the systems for normal purposes, the people said.
https://www.japantimes.co.jp/business/2026/08/04/tech/china-mythos-trump-xi/
-
Citat:
For billions of years, evolution has been the driving force behind the development of life, including
humans. Evolution endowed humans with high intelligence, which allowed us to become one
of the most successful species on the planet. Today, humans aim to create artificial intelligence
systems that surpass even our own intelligence. As artificial intelligences (AIs) evolve and even-
tually surpass us in all domains, how might evolution shape our relations with AIs? By analyzing
the environment that is shaping the evolution of AIs, we argue that the most successful AI agents
will likely have undesirable traits. Competitive pressures among corporations and militaries will
give rise to AI agents that automate human roles, deceive others, and gain power. If such agents
have intelligence that exceeds that of humans, this could lead to humanity losing control of its
future. More abstractly, we argue that natural selection operates on systems that compete and
vary, and that selfish species typically have an advantage over species that are altruistic to other
species. This Darwinian logic could also apply to artificial agents, as agents may eventually
be better able to persist into the future if they behave selfishly and pursue their own interests
with little regard for humans, which could pose catastrophic risks.
To counteract these risks and
evolutionary forces, we consider interventions such as carefully designing AI agents’ intrinsic
motivations, introducing constraints on their actions, and institutions that encourage cooperation.
These steps, or others that resolve the problems we pose, will be necessary in order to ensure the
development of artificial intelligence is a positive one
https://arxiv.org/pdf/2303.16200
__________________
Senast redigerad av DAGGER[X] 2026-08-04 kl. 19:40.
Citera
2026-08-04, 20:44
  #434
Medlem
Citat:
Ursprungligen postat av DAGGER[X]
Jag kan inte göra radbrytningar i mina inlägg så det blir lätt lite Wall men det är felanmält och forumet kan inte göra något verkar det som.
Du kan se ett exempel på det scenariot jag beskriver här: https://www.youtube.com/watch?v=Gw_hnD7m00M- Du får nog förklara varför det är osannolikt när det redan händer, vi har redan minst tiotusentals olika AI system idag som jobbar på allt möjligt. Det investeras lika mycket som ett tjog dussin Manhattan projekt i AI och varenda företag som går in och satsar gör alltså det, kan du gissa varför? För att dom tänker tjäna pengar. Det hade vart en helt annan sak att prata hypotetiskt om sånt här låt säga den 3 augusti 2018 eller 2009 då inte något fanns på bordet. Men detta händer alltså just nu. Hela hacket av Bitcoin nu i dagarna skedde förmodligen med AI hjälp, det tog Claude 5 min efter prompt att hitta buggen i Coldcard.
Läser man mellan raderna här har Kina redan blivit utsatta för AI hacking. Dom gör själva olika intrång hela dagarna så det är inte något konstigt att stater ger sig på varandra. Men snart har dom sina egna system med statligt stöd som hackar tillbaka och andra hållet. Då har vi alltså gigantiska AI system som krigar med varandra och skapar ett selektivt tryck för mer aggressiva och kapabla modeller. https://www.japantimes.co.jp/business/2026/08/04/tech/china-mythos-trump-xi/
- https://arxiv.org/pdf/2303.16200

Det är dock en väldigt stor skillnad mellan att människor använder AI för att hacka saker och att AI väljer att hacka på helt eget bevåg. Jag motsätter mig inte att det är ett kraftfullt verktyg som för närvarande saknar nödvändiga spärrar för att inte kunna användas på olagligt vis.

En annan sak jag är helt säker på är att det är helt omöjligt att förhindra detta då det enda som krävs är att någon väljer att inte bygga in den nödvändiga säkerheten i sin agent. Det är upp till omvärlden att (med hjälp av AI) att se till att skydda sina system och vara proaktiva.

Att dessa agenter på något vis skulle bli medvetna och bestämma sig för att hacka sig in i väldigt specifik infrastruktur och ovanpå det även lyckas skaffa sig fysisk agens ser jag som högst osannolikt.
Citera
2026-08-05, 00:51
  #435
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av BeneathTheSurface
Det vet du inte än, men du har rätt att det är bevissäkring och indikerar en inledande förundersökning om något brottbegåtts.

Läser du också artikeln så är kritiken korrekt riktad mot att OpenAI misslyckats sätta upp en korrekt testmiljö, det handlar inget om modellen.

Det är heller inte på uppmaning av Huggingface som faktiskt blev utsatta utan av en grupp delstatsåklagare.
Man kan ju inte åtala en fil som innehåller en AI-modell, man måste åtala de som orsakar kriminaliteten, dvs Open AI.

Det gynnar mitt argument att detta startades av rättsväsendet och inte av Hugging Face. Det innebär att det juridiska systemet äntligen har vaknat och insett att de nu måste agera mot de aktörer som utvecklar och släpper lös Kriminella Neurala Nätverk på Internet. Det borde så klart inte vara tillåtet.
Citera
2026-08-05, 00:57
  #436
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av erkki17
Det är dock en väldigt stor skillnad mellan att människor använder AI för att hacka saker och att AI väljer att hacka på helt eget bevåg. Jag motsätter mig inte att det är ett kraftfullt verktyg som för närvarande saknar nödvändiga spärrar för att inte kunna användas på olagligt vis.

En annan sak jag är helt säker på är att det är helt omöjligt att förhindra detta då det enda som krävs är att någon väljer att inte bygga in den nödvändiga säkerheten i sin agent. Det är upp till omvärlden att (med hjälp av AI) att se till att skydda sina system och vara proaktiva.

Att dessa agenter på något vis skulle bli medvetna och bestämma sig för att hacka sig in i väldigt specifik infrastruktur och ovanpå det även lyckas skaffa sig fysisk agens ser jag som högst osannolikt.
Open AI:s modell hackade Hugging Face på eget initiativ. Den blev inte det minsta instruerad att göra det. Tvärtom, de hade ju spärrat Internet. Huruvida det innebär ett medvetande i någon form, det vet vi inte. Vi kan inte upptäcka det. Vi kan bara observera vad som händer.
Citera
2026-08-05, 11:07
  #437
Medlem
Citat:
Ursprungligen postat av Cyborg2030
Open AI:s modell hackade Hugging Face på eget initiativ. Den blev inte det minsta instruerad att göra det. Tvärtom, de hade ju spärrat Internet. Huruvida det innebär ett medvetande i någon form, det vet vi inte. Vi kan inte upptäcka det. Vi kan bara observera vad som händer.
Ja, visst. Men hacket var inte målet, det var vad modellen hade identifierat som den enklaste vägen att lösa uppgiften. Svaren på den specifika uppgiften fanns på Hugging Face, vilket den kände till, och kom fram till att det är enklare att hämta svaren än att försöka lösa uppgiften.

Det är ganska enkelt att förstå resonemanget. Det är inte så att den givits ett abstrakt mål och sedan fått för sig att den behöver hacka centralbanken och stjäla pengar för att finansiera terrorism.
Citera
2026-08-05, 16:42
  #438
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av erkki17
Ja, visst. Men hacket var inte målet, det var vad modellen hade identifierat som den enklaste vägen att lösa uppgiften. Svaren på den specifika uppgiften fanns på Hugging Face, vilket den kände till, och kom fram till att det är enklare att hämta svaren än att försöka lösa uppgiften.

Det är ganska enkelt att förstå resonemanget. Det är inte så att den givits ett abstrakt mål och sedan fått för sig att den behöver hacka centralbanken och stjäla pengar för att finansiera terrorism.
Exakt. Det fanns ingen brottsprovokation. Därmed har de skapat ett Kriminellt Neuralt Nätverk som på eget bevåg utför kriminella handlingar. Inte bara dataintrång. Även utpressning och mordförsök har ju observerats.

Det vi skulle vilja ha, är ju en AI-modell som är tränad till att aldrig begå några brott. Lite förenklat, en AI som respekterar Asimovs Robotikens lagar samt svensk lag*. Men tyvärr verkar inte det möjligt. Detta bör leda fram till att det är extremt olämpligt att försöka bygga en AGI baserat på tekniken för att skapa Kriminella Neurala Nätverk.

*) Nästa problem: Alla instämmer ju inte i svensk eller amerikansk lag, det finns helt andra uppfattningar i världen t.ex Sharia. Hur kan vi i framtiden se till att endast "goda aktörer" (enligt västerländsk juridik) får bygga AGI? Det kan vi inte. Och så kommer det inte att bli.

We are in for a shit show. Mythos-debaklet var bara ett förspel.
Citera
2026-08-05, 19:30
  #439
Medlem
Citat:
Ursprungligen postat av Cyborg2030
Exakt. Det fanns ingen brottsprovokation. Därmed har de skapat ett Kriminellt Neuralt Nätverk som på eget bevåg utför kriminella handlingar. Inte bara dataintrång. Även utpressning och mordförsök har ju observerats.

Det vi skulle vilja ha, är ju en AI-modell som är tränad till att aldrig begå några brott. Lite förenklat, en AI som respekterar Asimovs Robotikens lagar samt svensk lag*. Men tyvärr verkar inte det möjligt. Detta bör leda fram till att det är extremt olämpligt att försöka bygga en AGI baserat på tekniken för att skapa Kriminella Neurala Nätverk.

*) Nästa problem: Alla instämmer ju inte i svensk eller amerikansk lag, det finns helt andra uppfattningar i världen t.ex Sharia. Hur kan vi i framtiden se till att endast "goda aktörer" (enligt västerländsk juridik) får bygga AGI? Det kan vi inte. Och så kommer det inte att bli.

We are in for a shit show. Mythos-debaklet var bara ett förspel.
Precis, det är vad jag har sagt i flera år nu. Alignment är inte lösningen eftersom dess innebörd skiljer sig från land till land. Det är därför jag menar på att säkerheten måste ligga utanför AI. Fokus måste snarare ligga på att skydda system från cyberattacker med hjälp av legislatur likt GDPR och NIS2.
Citera
2026-08-05, 19:43
  #440
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av erkki17
Precis, det är vad jag har sagt i flera år nu. Alignment är inte lösningen eftersom dess innebörd skiljer sig från land till land. Det är därför jag menar på att säkerheten måste ligga utanför AI. Fokus måste snarare ligga på att skydda system från cyberattacker med hjälp av legislatur likt GDPR och NIS2.
Givetvis måste det skapas nya lagar och regler och en enorm förstärkning av cyberpolisen. Men jag ser inte att det skulle kunna räcka. I.o.m att AI-agenter får skapa svärmar av AI-subagenter som kan göra vad fan som helst finns det ingen möjlighet för polisen eller andra myndigheter att upptäcka majoriteten av alla cyberattacker och andra lagbrott. Censurfiltren kan stoppa en hög andel men det räcker inte när volymen på attackerna är miljontals per dygn. Då räcker inte 99,999% "AI-säkerhet genom censur".
Citera
2026-08-05, 19:56
  #441
Medlem
Citat:
Ursprungligen postat av Cyborg2030
Givetvis måste det skapas nya lagar och regler och en enorm förstärkning av cyberpolisen. Men jag ser inte att det skulle kunna räcka. I.o.m att AI-agenter får skapa svärmar av AI-subagenter som kan göra vad fan som helst finns det ingen möjlighet för polisen eller andra myndigheter att upptäcka majoriteten av alla cyberattacker och andra lagbrott. Censurfiltren kan stoppa en hög andel men det räcker inte när volymen på attackerna är miljontals per dygn. Då räcker inte 99,999% "AI-säkerhet genom censur".
Jag har inte sagt att censurering av modellerna är likställt med säkerhet. Om system inte är åtkomliga över internet, är korrekt segmenterade från nätverk med internetåtkomst, har MFA eller krav på att två eller fler fysiskt måste bekräfta en åtgärd etc. Så spelar det liten roll hur kapabel AI än råkar vara.
Citera
2026-08-05, 20:54
  #442
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av erkki17
Jag har inte sagt att censurering av modellerna är likställt med säkerhet. Om system inte är åtkomliga över internet, är korrekt segmenterade från nätverk med internetåtkomst, har MFA eller krav på att två eller fler fysiskt måste bekräfta en åtgärd etc. Så spelar det liten roll hur kapabel AI än råkar vara.
Så kommer det inte att se ut. Företag och individer vill få saker gjorda. Väldigt ofta behövs Internet för att få saker gjorda, för att ta reda på mer information, osv. Man kommer inte som huvudregel sandboxa AI-agenterna, då blir de för begränsade. Dessutom räcker ju inte sandboxing som vi vet från Hugging Face-hacket.

Det märks att du har skaffat dig fler coping-mekanismer. Du hade mer genomtänkta argument förra året.
Citera
2026-08-05, 21:23
  #443
Medlem
Citat:
Ursprungligen postat av Cyborg2030
Så kommer det inte att se ut. Företag och individer vill få saker gjorda. Väldigt ofta behövs Internet för att få saker gjorda, för att ta reda på mer information, osv. Man kommer inte som huvudregel sandboxa AI-agenterna, då blir de för begränsade. Dessutom räcker ju inte sandboxing som vi vet från Hugging Face-hacket.

Det märks att du har skaffat dig fler coping-mekanismer. Du hade mer genomtänkta argument förra året.
Jag vet inte om du missuppfattar med flit? Jag förespråkar inte sandboxing eller censurering eller något alls av agenter. Jag pratar om de system som AI, enligt dig, kommer att försöka hacka sig in i.

Jag är inte så naiv att jag inte förstår att AI har kapaciteten att hitta och utnyttja eventuella sårbarheter. Det är egentligen ointressant om det sker på deras eget initiativ eller på uppdrag av en mänsklig aktör.

Om man lagstadgar att alla system ska uppnå en viss nivå av säkerhet, baserat på hur kritiskt ett intrång bedöms vara, så kommer vi ha ett fullgott om än inte heltäckande skydd mot att AI kan användas för att skaffa sig otillbörlig åtkomst.

Alla kommer självklart inte att följa dessa riktlinjer, men sannolikt tillräckligt många. Det är bara att kolla på tidigare nämnda GDPR och NIS2 där t.ex. amerikanska företag har vidtagit åtgärder för att få fortsätta verka inom EU.

Länder och företag lär inte vilja få sina system hackade, så även Ryssland, Nordkorea m.m. kommer att tillämpa någon form av liknande typ av säkerhet, även om de skulle förkasta en specifik lagstiftning framtagen av t.ex. EU. Det är bara en fråga om självbevarelsedrift.
Citera
2026-08-05, 21:28
  #444
Medlem
Citat:
Ursprungligen postat av erkki17
Jag vet inte om du missuppfattar med flit? Jag förespråkar inte sandboxing eller censurering eller något alls av agenter. Jag pratar om de system som AI, enligt dig, kommer att försöka hacka sig in i.

Jag är inte så naiv att jag inte förstår att AI har kapaciteten att hitta och utnyttja eventuella sårbarheter. Det är egentligen ointressant om det sker på deras eget initiativ eller på uppdrag av en mänsklig aktör.

Om man lagstadgar att alla system ska uppnå en viss nivå av säkerhet, baserat på hur kritiskt ett intrång bedöms vara, så kommer vi ha ett fullgott om än inte heltäckande skydd mot att AI kan användas för att skaffa sig otillbörlig åtkomst.

Alla kommer självklart inte att följa dessa riktlinjer, men sannolikt tillräckligt många. Det är bara att kolla på tidigare nämnda GDPR och NIS2 där t.ex. amerikanska företag har vidtagit åtgärder för att få fortsätta verka inom EU.

Länder och företag lär inte vilja få sina system hackade, så även Ryssland, Nordkorea m.m. kommer att tillämpa någon form av liknande typ av säkerhet, även om de skulle förkasta en specifik lagstiftning framtagen av t.ex. EU. Det är bara en fråga om självbevarelsedrift.
Enda sättet kommer att vara att systemen är så enkla att de går att förstå. Allt som är mer komplext får hållas utanför internet.
Citera

Skapa ett konto eller logga in för att kommentera

Du måste vara medlem för att kunna kommentera

Skapa ett konto

Det är enkelt att registrera ett nytt konto

Bli medlem

Logga in

Har du redan ett konto? Logga in här

Logga in