1200 AI-botar gjorde uppror – bröt sig loss och bildade eget kollektiv

Den befann sig inuti en sandbox som inte hade någon internetåtkomst, men den använde en pakethanterare som hade en sårbarhet den kunde utnyttja för att ta sig ut på internet.

Den visste inte att den hackade Huggingface.co när den hackade Huggingface.co?

Nej, i testet hade den inte åtkomst till Internet. Den skaffade sig åtkomst genom att hacka ett internt system (en pakethanterare) som sedan kunde agera som en proxy ut mot Internet.

Det är också ett dataintrång. Utöver alla andra dataintrång den utförde.

KNN = Kriminella Neurala Nätverk.

M.a.o så var den kopplad till internet?

Är det känt vilken pakethanterare? Version? Är dess säkerhetshål kända? Var agenten tränad på/kände till källkoden till pakethanteraren?

https://en.wikipedia.org/wiki/OpenAI%E2%80%93HuggingFace_incident

Jag har mina luddiga teorier med dessa agenter som "löper amok":

Jag tvivlar inte på att AI kan hitta säkerhetshål o.s.v. i mjukvaror, däremot tvivlar jag på att AI kan hitta finansiering för dess upphovsmän/ledare, speciellt med dagens förväntningar.

AI tillför ringa ekonomiskt värde i slutändan. D.v.s. där det genererar plus på årsredovisningen.

Min teori är att dessa amok-scernarion ska utgöra en grund i motiveringen för att stat/stater ska ta över dessa bolag med skattemedel till hutlösa överpriser.

Nej, de hade ingen koppling till Internet. Pakethanteraren var Artifactory och först hittade de en sårbarhet som lät dem hämta information från Internet genom SSRF (server-side request forgery) men det upptäckte OpenAI efter ett tag och utvecklarna av Artifactory levererade en patch. Ett tag senare hittade de dock en annan sårbarhet som gav agenterna admin-rättigheter i Artifactory och kunde då få den att göra anrop till Internet igen.

Sedan hittade agenterna en annan sandbox på plattformen Modal där de kunde exekvera kod så att de fick kontroll över den virtuella maskinen. Denna hade mindre åtstramad internetåtkomst, så därifrån var agenterna mer eller mindre obegränsade.

Känns som att det bekräftar mina misstankar: Bolagen vill bli till viss del statligt kontrollerade, vilket säkert innebär statlig finansiering.

Jag kan ha fel, men det luktar iscensatt.

Det är självklart iscensatt. Det är liksom inget företag som skulle skylta med hur fruktansvärt usla opålitliga produkter och rutiner de har om det inte var för att det är PR för dom.

De mest korkade köper det omedelbart, men det är ju lätt att förstå varför, det är de som sett någon film från 80 talet och tror det är en dokumentär.

Lika så det här med att de lämnat meddelanden till varandra osv, det är/var jättevanligt beteende bland mänskliga hackare på BBS/FTP tiden, det är inget som agenterna kommit på själva. Och de har självfallet inte kommit på tanken att hacka någon sida eller så själv heller, uppgiften har kommit från människorna som driftsatt detta, de har så klart inte blivit i detalj styrda över hur de ska lösa uppgiften men allt de här språkmodellerna kan göra kommer från träningsunderlaget.

Ja, man kan med mjukvara blockera/slussa mellan olika nätverk.
Jag menar att om en enhet är kopplad till en annan -> genom x-antal andra -> internet: då är man kopplad till internet.

Om man inte är kopplad till internet så är det ett LAN/sovrums-nätverk.

Åtkomst kan regleras fysiskt eller med mjukvara.

Och de som fortfarande inte tror att OpenAI osv ljuger om i stort sett allt, borde kolla på den här intervjun med Tristan Buckmaster (En av de två matematiker som löste navier stokes), de ljuger till och med för personer som direkt genomskådar det.

https://www.youtube.com/watch?v=Mzbtj5nkMXI

.
.
De vill ha en massa regler för de vet att de kan hantera det medan mindre bolag inte skulle klara alla krav och vitsen med storbolagens varningar är just att få till stånd en massa regler för att stänga ute uppstickare. Det handlar alltså om att sätta upp konkurrenshinder för konkurrenterna.