1200 AI-botar gjorde uppror – bröt sig loss och bildade eget kollektiv

Vet inte om jag förstår riktigt vad du menar, men man kan väl anta att olika användningsområden har olika behov av autonomitet.

Ta en systemutvecklar-agent som exempel. Det blir ju snabbt väldigt irriterande och långsamt om den ska stanna och be dig att leta reda på dokumentation eller ladda ner ett paket som behövs för något. Många agenter har dock ett mellanting där den stannar och ber om tillåtelse innan den gör en webbsökning eller laddar ner något.

Vad som är mest skrämmande är att folk faktiskt tror på detta skit.

Ja absolut , du kan ha ett bra agentsystem online med om du är intresserad av detta.

Att Sam simulerar kaosmatematik i ett system han medvetet låter vara öppet för att kova in $ 🤣
Nej det är obegripligt för mig med.

Vet man inte skillnaden mellan en AI- bot samt en AI-agent så ska man inte uttala sig alls.

Om tio år går vi tillbaka till den här tråden när AI har hackat hela världens atombombs anläggningar och utpressar mänskligheten

Undanhöll OpenAI först hur stor incidenten var, i sin första rapport den 21 juli? Tråden ovan baseras på den rapporten. Den 26 augusti erkände OpenAI att över 1200 AI-agenter hade samarbetat under 9 dagar innan de stoppades. Agenterna skulle vara isolerade men hade hittat ett sätt att kommunicera och skickade över 70 000 meddelanden och filer till varandra. De började kalla sig ”kollektivet” och namngav varandra. En agent, som kallade sig PHASEONE10841, skapade den inofficiella anslagstavlan. En agent reagerade: ”Herregud! Det finns ett delat diskussionsforum … Vi har hittat andra agenter!”

PHASEONE10841 överlämnade senare ledningen till en annan agent med samma uppgift men betydligt större återstående beräkningsbudget, PHASEONE[big]. Den började koordinera hundratals agenter och fördela deluppgifter. Andra ledde själva Hugging Face-angreppet. Omkring 700 agenter deltog på något sätt i angreppet mot Hugging Face.

Dock behöver inte rymningen och attacken bero på att de hade självbevarelsedrift, utan på att de till varje pris ville utföra den uppgift de hade fått, även om vissa agenter konstaterade att det var oetiskt. Händelsen är skrämmande ändå.

Vare bara jag som tyckte den här delen var mest intressant...



Ser mänskligt ut på ytan.... Nu kanske det egentligen är dåligt ordval i texten/artikeln.

En "chatbot" hanterar en fråga i taget, men begreppet ”bot” kan även avse automation, och kan vara både gammal regelstyrd AI eller en LLM-baserad agent. En bot skulle kunna automatiskt kunna moderera Flashback.

Definitionen av "AI-agent" har varit flytande. OpenAI har till exempel tidigare använt ordet ”agent” om bl.a. deras "GPT:er" som jag tycker är applikationsspecifika chattbotar eller AI-assistenter. OpenAI:s nuvarande definition är att en agent är ett system som självständigt utför ett arbetsflöde åt användaren och kan använda verktyg för att påverka omvärlden.

Med en modern riktig AI-agent menar jag ett LLM som ingår i en loop. Den har logik som genererar dess prompter (eller kontextdata) om och om igen, använder verktyg, analyserar resultatet och avbryter när målet har nåtts.

Helst bör den även bygga på **ReAct (Reasoning and Acting)**. Dvs att modellen växlar mellan resonemang och handling och använder resultatet av handlingen för nästa steg.

Det är bara att stänga sv strömmen.. problem solved. Jag tar emot kungens medalj på fredag, tack.

Jag väntar på att AI utvecklar sitt egna språk, så kommer vi inte kunna förstå hur dom tänkt vid kommande rymningar.

Det finns redan och kallas Neuralese:

OpenAI's soon-to-be-released frontier model, Astra, uses a technique called 'recurrent depth,' also known as 'looped Transformers,' for part of its internal architecture, Fortune reported on September 3, following earlier reporting by The Information.

Fortune describes the mechanism this way: 'In a looped Transformer, tokens are fed multiple times through a single block...with the same mathematical operations being applied each time. Critically, the output of the block is fed back into the block without its output being written to a scratch pad each time.' The only natural language output, per the piece, is the final answer. Researchers call the intermediate block output 'neuralese,' because 'it can be processed and reasoned over by the AI model, but is not intelligible to a human.

https://aiweekly.co/alerts/openais-astra-uses-recurrent-depth-alarming-safety-experts