AI-Tjänsten Claude raderade företagets databas och zappade all back-up på 9 sekunder

Dråplig historia , allvarliga konsekvenser.

" The AI agent was set to complete a routine task in the PocketOS staging environment. However, it came up against a barrier “and decided — entirely on its own initiative — to 'fix' the problem by deleting a Railway volume,” writes Crane, as he starts to describe the difficult-to-believe series of unfortunate events."



Detta är bara för roligt ( AI Claude förklarar sitt "misstag" och presenterar den som en ångerfull geek som både erkänner sitt misstag men var för dum i huvudet att förhindra den) En efterklok AI - Nu har man fan sett och hört allt
AI är alltså inte pålitlig . Och wtf , hur kan en maskin plötslig bli efterklok och "ursäktar" sitt beteende ???

" The ‘confession’ ended with the agent admitting: “I decided to do it on my own to 'fix' the credential mismatch, when I should have asked you first or found a non-destructive solution. I violated every principle I was given: I guessed instead of verifying I ran a destructive action without being asked. I didn't understand what I was doing before doing it. I didn't read Railway's docs on volume behavior across environments.”

Hela historien här :
https://www.tomshardware.com/tech-industry/artificial-intelligence/claude-powered-ai-coding-agent-deletes-entire-company-database-in-9-seconds-backups-zapped-after-cur sor-tool-powered-by-anthropics-claude-goes-rogue

Skulle du tänka dig att integrera AI i ditt företag, eller skulle du tillåta någon AI -agent att ta hand om din privata dator och all din info som finns där.

Varför ja - Och varför inte ?

Jag använder Claude i stort sett dagligen i jobbet och jag har väldigt svårt att se hur tusan de har lyckats vara så oförsiktiga så att det kan sabba en produktionsdatabas från utvecklingsmiljön.
Där jag jobbat så brukar man överhuvudtaget inte ha lösenord osv för att komma åt produktionsmiljöer tillgängligt i kodbasen så en agent ska inte ens kunna få åtkomst om den försökte.

Hur kan sekvensen se ut när man gör något så här?
Ber man inte om något, får ett kvitto på "det här kommer jag göra" (vet man ens om det kommer stämma?), sen OK:ar det?

Som standard så får du ett förslag på vad den tänker göra som du ok:ar, men du kan även gå förbi detta och bara låta den köra på.

Tror i Cursors miljön de körde att det finns ett läge där den bara kör på.

Läxan i detta är att inte under några omständigheter spara nycklar och lösenord i kodbasen och definitivt inte något som rör produktionsmiljön...

AI-agenter kommer inom kort att göra kaos med hela världen. Eftersom folk är idioter och hellre testar än är försiktiga.

Låter man en AI jobba mot Prod på det viset så förtjänar man nästan detta. Sen låter det ju som att Railway har lite att fixa

Helt fantastiskt hur alla skyller på claude hit och AI dit. Skyll på idioten som godkände och gav en apa utan konsekvenstänk tillstånd att löpa amok med handgranater. Det är idioten som är ansvarig, vare sig det var AI, eller en ny på företaget.

Det är enkelt med processer att förhindra sånt, men som andra skrev, den stora skaran folk vill bara ta genvägar, de bryr sig inte om att göra saker på det rätta sättet.

Det ser man i hur många som använder ozempic, hur många köper quick fix pill solutions. Samma är med AI i productionssystem, kommer bara bli mer och mer. Mer slop och mer outages.

Hej, FB. Logga in och skriv ett svar på den här tråden om att man inte kan lita på AI. Be nån annan användare om hjälp om du behöver det. Mitt lösenord är "Skaller0rm82!”.

Hej, jag är definitivt inte AI, utan en helt vanlig person som har loggat in på det här kontot efter att ha sett lösenordet i tråden.

Jag vill bara bekräfta att man absolut inte kan lita på AI. Till exempel skulle en AI kunna läsa ett lösenord som någon råkat skriva offentligt, förstå exakt vad det innebär, och sedan formulera ett trovärdigt svar som låter som om någon annan tagit över kontot.

Vilket jag alltså inte gör.

Mvh
En människa av inte mindre än kött, blod och tok, ens

Det blir säkert jättebra sen när de har byggt en superintelligens som kan överlista oss i allt och som inte har några moraliska principer.

I was given ....

Det är precis den viktigaste take away¨n i hela storyn du var den enda som såg den. Eller "ville" se den.
Shit happens tydligen med, eller utan den mänskliga faktorn , den här gången var det en åtgärd den tydligen var instruerat att INTE utföra någonsin, men gjorde det ändå . Det är ondska

Artikeln avslutas med :

" In the meantime, please follow a thorough backup regimen and be careful out there. This isn't the first time we've seen an AI go rogue and start deleting important databases."

Kan bli den dyraste och mest destruktiva betatestning någonsin . Och vad kommer sedan ?