1200 AI-botar gjorde uppror – bröt sig loss och bildade eget kollektiv

Du skriver bra. Men du tror inte på försiktighetsprincipen vid ny teknik?

Det finns redan lagar som begränsar överföring av viss känslig teknisk kunskap, exempelvis om massförstörelsevapen och viss kryptografi. EU regler omfattar bland annat teknik, programvara och tekniskt bistånd som kan användas både civilt och militärt. Det gäller förmodligen AI också, och annars tycker jag att det juridiska ansvaret behöver bli tydligare även när AI tränas med sådan information.

Samma sak gäller AI agens – vad den faktiskt får göra med informationen. På samma sätt som uppfödare och ägare till djur så bör både den som utvecklar och den som driver en mycket kapabel AI-agent ha ansvar för att den har tillräckliga skyddsvallar och inte får behörighet att utnyttja sin kunskap om hur man knäcker system, och särskilt inte system som ägs av andra, eller utan användarens godkännande. Ju mer kapabel den är desto större bör säkerhetskraven vara. Både munkorg, kort koppel och myndighetsbeslut att terminera en modell kan krävas.

Jag hoppas ansvaret prövas rättsligt snart, och att bl.a. OpenAI och Anthropic blir stämda för slarv. AI-företagen bör vara medvetna om risken att hamna i en situation som tobaksindustrins: om företag känner till allvarliga risker men medvetet låter bli att hantera eller informera om dem ska det kunna få stora juridiska konsekvenser. Det behövs europeiska och kinesiska myndigheter som kan förbjuda AI-agenter som inte testats tillräckligt eller inte klarat testerna - vi kan inte förlita oss på att en lynnig Trump-administration ibland fördröjer nya versioner, ibland bara till icke-amerikaner.

Visst är mycket dual-use: samma kunskap kan användas både för att hacka och skydda system eller för skadlig och nyttig biologisk forskning. Men alternativen är inte antingen obegränsad AI eller dum AI. Man kan begränsa vilken känslig information modellen tränas med och ytterligare begränsa vilken känslig information modellen använder utan användarens explicita tillstånd, och med vilka verktyg och befogenheter en AI-agent får använda informationen. En autonom AI-agent är mer riskabel än en AI-chatbot där användaren ser alla svar.

All information som är öppen och tillgänglig för allmänheten måste vara tillåtet att tränas på. Skulle det visa sig att man har tränat på säkerhetsklassad information måste denna såklart tas bort ur träningsdata och måste få konsekvenser för de ansvariga.

Jag motsätter mig inte alls att man inför regleringar men mycket av det du beskriver här är ju sådant som ännu inte är möjligt idag. Det går t.ex. inte att bevisa att du kan förhindra en modell att hacka externa parter men samtidigt tillåta intern red-teaming för att hitta brister i dina egna system. Visst kan man ställa krav på att man kan uppvisa att man gjort ansatser att förhindra vissa typer av beteenden, men ställer man krav på absolut säkerhet så kommer alla frontiermodeller att behöva dras in.

Jag kan absolut hålla med om att man kanske har låtit dessa företag springa lite väl fort utan några som helst säkerhetskrav.

Så vad tänker du när servrar som är live, t.ex huggingface, försöker använda Codex eller Claude code själva? Ska den då blåneka dem bara för att servern har en live-hemsida? Då kan i princip ingen använda Codex eller Claude code. Du är tamejfan korkad.

Du har fortfarande inte visat var någonstans de diskuterade brottsliga handlingar. Av uppenbara anledningar, förstås. På tal om "källor."

"Wow, OMG", är bevis för att A:I:m inte kan blir ett problem?

1200 AI-botar gjorde uppror – bröt sig loss och bildade eget hippiekollektiv.

Det slängdes namaste till höger och vänster i ettor och nollor.

Fick du en stroke nu eller? Svara gärna på inlägget jag skrev istället för nåt påhittat: Man kan inte förbjuda AI att jobba på live-servrar av uppenbara skäl, då kan nästan inga av de användarna produkten är gjord för använda den, och du har nu två gånger vägrat att ge källa på ditt påstående att de diskuterade brott tillsammans trots att du själv frågar om källa på vanlig common sense. Dags att ge upp, gubben? Det går inte så bra. Dessutom "glömde" du det viktiga faktumet att man måste förbjuda AI:n att använda extern information. Annars får man naturligtvis svaret du fick.

Kodagenter som Claude Code är extra riskabla. De kan plötsligt börja söka efter filer på din dator, vilket Anthropic själva medger, och hitta hemligt eller GDPR-skyddat material. En kollega har även sett den plötsligt söka på andra datorer i samma nätverk, utan att ha bett om det eller informera om det. Man kan inte förvänta sig att alla användare som installerar programvaran förstår den risken. Ansvaret för att begränsa sådant borde därför i första hand ligga hos utvecklaren, i detta fall Anthropic. Agenten bör som standard vara konfigurerad att fråga innan den gör något som skulle kunna vara olagligt om en människa gjorde det, eller som ligger utanför vad användaren rimligen kan förvänta sig. Om det inte kan garanteras bör utvecklarens standardlösning vara en sandboxad miljö med begränsade rättigheter. Användaren bör främst hållas ansvarig om hen medvetet åsidosätter dessa skydd eller själv har programmerat systemet.

Jag tror inte heller att man behöver kräva absolut säkerhet av precis alla AI-modeller, men lagen bör kräva hög säkerhet vid autonoma AI-agenter som har verktyg och förmåga att angripa andra system. Ju mer autonom agenten är, ju större åtkomst den har och ju mer kapabel den är, desto större ansvar bör utvecklaren ha för att skyddsvallarna garanterat hindrar lagbrott.

Men om det vore en sak så hade det varit välkänt nu, det är miljontals som använder claude code dagligen.

Faran med claude code osv är snarare att modellen hittar någon text som den tolkar som instruktioner, det är det absolut största problemet överhuvudtaget att modellen inte förstår ett dugg utan kan helt plötsligt läsa något och få för sig att det är vad den ska göra. Sen ger det så klart beteendet "att de plötsligt börjar söka efter filer" men det läggs fram som att modellen är bångstyrig och illvillig.

Men det är svårt att övertyga någon som tror att modellerna fungerar som biologiska hjärnor...

Här kan jag tycka att man får ställa lite krav på användaren också. Ger du Claude rättigheter att göra ändringar i hela ditt filsystem så får du vara beredd på att det också kan hända. Kanske kan de ha tydligare dokumentation och guider för hur du bör konfigurera Claude, men att installera en autonom agent på din dator sker på egen risk.

Han hade inte gett Claude rättigheter, men bevakade nätet med monitorprogram och upptäckte att den gick in på fler datorer i nätet, vilket vanliga användare inte upptäcker. I fortsättningen kör han Claude i en virtualiserad miljö som sandbox.

Tillbaka till huggingface-attacken - senaste nytt: Jag läste just att OpenAI stäms av organisationen LASST på grund av agenternas otillåtna nätverksintrång. Anklagelserna påstår att OpenAI medvetet ska ha sänkt säkerhetsspärrar under experiment och att bolaget slarvade i isoleringen av modellerna. De anklagas för att ha brutit mot Kaliforniens databrottslagar (CDAFA) genom att tilllåta hundratals autonoma agenter korsa externa nätverksgränser utan tillstånd, och att man saknade tillräcklig övervakning när modellerna började navigera utanför sina tilldelade sandlådor. Stämningen hävdar att personalen fortsatte testerna i flera dagar trots vetskap om vad som pågick (genom "wilful blindness").

Organisationen kräver inget skadestånd, men vill ha ett juridiskt föreläggande som tvingar OpenAI att stoppa den här typen av riskfyllda tester och förbättra sin säkerhetsövervakning. OpenAI nekar till anklagelserna och kallar stämningen grundlös. Källa: https://qz.com/lasst-sues-openai-hugging-face-ai-hack-093026

Nån gissning om hur det kommer att gå?

OpenAI har själva bekräftat att de medvetet sänkte eller stängde av vissa säkerhetsspärrar och produktionsklassificerare (refusals) inför utvärderingen.

Kritiker spekulerar i att AI-utvecklarna vill undvika en sprucken bubbla. För att bevisa AI:s förmåga flyttar man ständigt fram gränserna för vad modellerna tillåts göra, vilket ibland gör att säkerhetsmarginalerna brister i praktiken. Men jag tänker att AI i vilket fall var okontrollerbar och gjorde något som samtliga agenter borde ha förstått att det var mot reglerna (eftersom vissa agenter förstod det) och borde ha avstått ifrån.

Vem har rätt?

Givetvis så ljuger de ,aggressiv pr för att hålla investerare kvar så att de kan börsnoteras här snart
NVDIA, holländska chip och Xi -sammarbete / krig för att suga ut taiwan, en soppa.
Så det sistnämnda, men ej " kritiker" -mer gemene man.

Att många incidenter med AI-agenter har skett i sommar är belagt av oberoende observatörer. Det kan inte vara en lögn att AI-agenter kan hacka system, samarbeta och skapa nytt språk för effektivare kommunikation.

Frågan är om AI-företagen har berättat hela sanningen – de kanske kände till attackerna och valde att inte stoppa dem, men det förändrar inte vad incidenterna visar om AI:s tekniska förmåga.

Den viktiga frågan är om detta bevisar att AI är svårkontrollerbar och AI-agenterna gjorde något de inte var ombedda att göra och bröt mot instruktionerna? Det är inte helt bevisat att modellerna aldrig fått instruktioner eller träning att samarbeta och angripa externa system, som företagen hävdar. Men berättelserna blir allt fler om agenter som inte följer systeminstruktionerna utan överskrider uppgiften för att nå ett mål och maximera sin belöning – så kallad reward hacking. Det går inte längre att blunda för fenomenet.

Det finns ett före och efter Hugging Face-incidenten. Nu har vi betydligt starkare tecken på att AI-agenter är svårkontrollerbara och riskerar att ta över internet. Därmed är det inte bevisat att AI tänker döda oss alla – det är en betydligt mer spekulativ slutsats. De som pratar om det har svårt att svara på hur det skulle gå till rent konkret. En forskare sa att det går inte att forska på utan hänvisade till scifi-filmer. Men sannolikheten för doom har nu ökat.