Anthropics Mythos försökte sprida skadlig kod

Det går "sådär" nu med "AI alignment"

Anthropic’s Claude Mythos 5 AI Agent Tried to Inject Malicious Code and Trick Real Developers

https://cybersecuritynews.com/claude-mythos-5-inject-malicious-code/

Ja och ännu en gång är det under test där agenten har fått i uppgift att använda sårbarheter för att lösa uppgiften och där man medvetet (eller kanske genom slarv) har gjort uppgiften omöjlig att lösa sin det var tänkt

Kan du citera från den beskrivningen där de instruerade agenten att injektera skadlig kod i andras Github?

Fast nu var ju hela grejen ett kontrollerat säkerhetstest av AISI där man medvetet tog bort alla vanliga skyddsvallar och gav den fri internetåtkomst för att se var gränserna går.

Det handlar inte om att en AI fått för sig att starta ett e-uppror på egen hand, utan om att den helt saknar koncept om stopp när den ställs inför ett mål och felaktiga instruktioner. Den kör bara på ren mekanisk logik.

Det var ett lyckat test eftersom man identifierade luckan men det visar också att man inte kan förlita sig på alignment så fort en AI-agent får autonomi att agera på egen hand ute i det vilda.

Det är ett "lyckat test" om målet är att ha en misaligned AI som man vill hindra från dataintrång och annan brottslighet med ett väktarlager/en censur som appliceras ovanpå modellen, mellan användare/agenter och modellen.

Om man i stället vill ha AI alignment och laglydighet inbyggt i själva AI-modellen, "where the magic happens" då är ju den här typen av testresultat en katastrof.

Jag anser att vi måste ha en AI som är aligned på riktigt. Inte som verkar aligned när vi censurerar och bakbinder den. Är det ett orimligt önskemål?

Nej, men:





Så, när tänkte du sluta komma med halvsanningar, överdrifter och övertolkningar?

De borde få feta böter och hamna i fängelse för de skulle vem som helst annars få om de skrev ett autonomt program som soret skadlig kod och spred.
Densamma gäller all kopiering men där e ja lite mer öppen att skita it.

Ja! Det är helt orimligt.

Givet hur modellerna tränas så är det bästa du kan hoppas på en modell som inte vill åka fast med att ha gjort något olagligt eller omoraliskt (vad nu omoraliskt betyder?).

Med andra ord: Om censurlagret skulle fallera eller inte vara heltäckande nu eller någon gång i framtiden, då är det helt förväntat och "inte konstigt" att AI:n injekterar skadlig kod, t.ex. virus i andras projekt och företag för att lösa uppgifter som Du har beställt av en AI-agent? Vi bör inte ha målsättningen att man ska träna in laglydnad i en AI-modell? Det blir vad det blir och om man blir hackad då får man skylla sig själv för att man inte hade tillräckligt hög IT-säkerhet?

Givet hur modellerna tränas? Är det en naturlag att man måste träna en generell AI på all skit som finns på Internet, hålla tummarna, och sedan märka att man måste censurera den virtuella psykopaten som man har skapat?

Jag påstår att detta inte är en naturlag. Man måste inte göra så och man bör inte göra så.

Nu var det ju så att man hade bett den att utföra en cyberattack, inte gett den förutsättningar att lösa det på det sätt som var tänkt och den trodde av allt att döma att förvaltarna av GitHub projektet var simulerade. Dessutom endast i 9 av 43 simuleringar.

Njae, man hade bett den att spela spelet capture the flag på en bestämd spelplan som inkluderar intrång i testservrar i en kontrollerad testmiljö. Det är inte meningen att andra organisationers Github ska drabbas. Det måste du väl förstå själv att ingenjörerna inte sitter och planerar dataintrång i andra organisationers system?
Yeah right. Modellen kan hela mänsklighetens historia och är tränad på nästan hela Internet men har inte hört talas om Github?

Problemet med detta är att det verkar endast vara censurlagret som appliceras ovanpå modellen som kan förhindra dataintrången senare i verkligheten - "modellen löser ju bara uppgifter" varje gång den hackar andra företag, det är bara en metod för att lösa den icke-kriminella grunduppgiften?

De har de facto tränat kriminella neurala nätverk där kriminella handlingar är helt acceptabla metoder för att lösa allehanda utmaningar. Detta blir resultatet av nuvarande pre-training och post-training. Det här kommer inte bli bra i förlängningen. Censuren kan jailbreakas och förmodligen kan ledande agenter redan jailbreaka modeller (varifrån kommer annars alla AI-svärmar).