Citat:
Ursprungligen postat av
BeneathTheSurface
Ja AI verktyg kan och har hittat säkerhetshål, det har också skapat massvis med falska rapporter och felaktigheter i hundratals som man skickar in också.
Sen är ju problemet att "säkerhetshål" är en diffus term, majoriteten av saker som hittats är väldigt teoretiska och med största sannolikhet aldrig utgjort något riktigt hot, men visst det räcker med ett allvarligt hål för att det ska vara ett problem.
Och nej det är nästan aldrig några "förslag på åtgärder", hade AI verktygen fixat problemen de hittade hade det inte varit ett problem, problemet är att AI verktyg inte kan detta och det ligger heller inte i var sig Anthropics eller OpenAIs intresse att göra, de är bara ute efter att skapa enorma kvantiteter av felrapporter för folk som inte förstår bättre ser höga siffror och tänker "högt är bra".
Nej du får tro vad du vill, det är uppenbart att du vill tro vad du vill tro. Jag antar du tror att Donald Trump är en bra president också, det är ju trots allt amerikanska folket som installerat honom och de kan ju inte ha fel.
Att du inte inser att OpenAI och Anthropic i flera år försökt få ensamrätt på AI utveckling i USA, man har aktivt lobbyat för att bli ensamma på marknaden osv och spenderat större delen av senaste året på att försöka få sina produkter att framstå som extremt farliga för allmänheten.
Ja och det är inte konstigt för det är vad i stort sett alla företagsledningar mer eller mindre tvingar utvecklare att göra, man är livrädd för att halka efter i utvecklingen.
Problemet är att man också skruvar upp förväntningarna något enormt, vilket leder till att det används än mer och ganska snart sitter folk med produkter de inte vet hur de är implementerade utan bara hur de tror de fungerar, för att de bett AI göra på ett visst sätt och det ser ut att fungera... Och AI säger "ja det är precis så det fungerar" när de frågar, tills den dagen det uppstår ett problem och någon behöver gå in och titta i faktiska koden där det framgår att det inte alls är gjort på det sätt som utvecklaren trodde.
Det är tragiskt att du som uppenbart inte har någon som helst erfarenhet av det uttalar dig i något som du inte vet något om, annat än vad du läser i pressreleaser eller på någon löpsedel, där problemet är exakt detsamma, en journalist som inte förstår ett dugg av vad den skriver om och bara återciterar vad pressmeddelandet sade.
Effective Altruism har infiltrerat AI sektorn sedan flera år, nästan varenda person du ser från "doomer" sidan är kopplade till EA, de sitter och refererar varandra i vart och varannat utkast eller så bjuder de in "oberoende" parter att diskutera med i podcasts osv när samtliga egentligen har samma underliggande arbetsgivare, detta gäller allt från Max Tegmark till Eliezer Yudkowsky, och det roligaste av allt är att det är ingen hemlig konspiration, det står klart och tydligt på deras sidor men folk läser normalt inte sådant.
Jag har inte påstått att händelsen i sig är en lögn, det jag påstår är att det är avsiktligt vridet att verka som att AI planerat och funderat ut en organiserad attack, det är inte så det fungerar. Det är en agenslös mjukvara som blivit tillsagd att utföra något och det är precis vad det då försöker göra. Men i stället framställs det som att OpenAI startade upp systemet och helt plötsligt så började deras mjukvara helt sonika hacka runt.
Det är som att säga att sigsauers senaste pistol började skjuta på måltavlor straxt efter den producerats, och helt utlämna att det stod personal och klämde på avtryckaren. Det fungerar inte att skriva så om en pistol eftersom allmänheten är införstådd med att ett materiellt objekt inte har förmågan att autonomt agera, men det fungerar med AI för där förstår inte allmänheten hur tekniken fungerar och det är något som AI tillverkarna, speciellt de amerikanska utnyttjar gång på gång. Allt amerikanskt är överdrivet skådespel och har alltid varit.
Varför tror du inte tex Mistral AI har samma problem? Varför har inte Kineserna samma problem?
Kineserna som dessutom nu har modeller som är i stort sett i fatt och på vissa områden förbi Amerikanernas, vad får du läsa då? Jo att Kineserna har stulit Amerikansk teknologi, man har "destillerat" Claude, GPT och allt vad de hittar på.
Det är rent av otäckt att det finns personer som du som är så lättpåverkade och köper precis allt de här bolagen skriver och säger, trots varenda tecken på att det är de vidrigaste företagsledare som satt sina skor på marknaden som styr detta. Och alla gapar det bara om en sak "säkerhet", hela Anthropic skapades ur precis detta och vad har de åstadkommit när det kommer till säkerhet? Inte ett skit, tvärtom har man destabiliserat nästan hela utvecklingsbranchen med den skit man producerat under åratal nu. Och allt för att lobba för att få ensamrätt på utvecklingen av tekniken.
Har du belägg för "hundratals falska rapporter"?
Nu har du lyckats sälja in Effective Altruism till mig, åtminstone deras AI-forskning. Superintressant, tack.

Det verkar vara något slags korsning mellan utilitaristisk filosofi, evidensbaserad läkarvetenskap, filantropi, AI-forskning, djurvälfärd och Läkare utan gränser. Det rimmar med alla partier utom Sd - men särskilt med miljöpartiet efersom de fokuserar på kommande generationer globalt och djurrätt. Att många AI-riskforskare har kopplingar till EA är för övrigt inte i sig ett argument mot deras forskningsresultat – då måste man visa vad som faktiskt är fel i resultaten eller metoderna.
Okej, jag förstår att AI-företag som OpenAI och Anthopric kan tjäna på att framställa sin modell som farligast för då är den också bäst, men finns det något bevis på korruption bland forskare vid universitet och forskningsinstitut, t.ex. METR, oavsett om de har har EA-koppling eller ej?
Trump har ändrat linje och står faktiskt närmare dig än mig nu i frågan om AI-reglering. Jag hävdar fortfarande att EU gör för lite, eftersom våra politiker lyder näringslivet och är för rädda för att bromsa utvecklingen och konkurrenskraften.
Lite anekdotisk bevisföring från min sida: De systemutvecklare jag känner verkar själva vilja använda agentisk utveckling och pratar inte om att deras chefer tvingar dem till det. Två är ensamföretagare. Men du känner alltså utvecklare som upplever sig tvingade?
Jag håller med dig om att om en modell försöker lösa den uppgift den fått är inte i sig belägg för medvetande, känslor och egen vilja. Men det är heller inte samma sak som din pistolanalogi. En pistol kan inte själv analysera ett nätverk, hitta en sårbarhet, skriva kod, anpassa sig efter resultatet och välja nästa delsteg mot ett mål på ett överaskande sätt för uppdragsgivaren. VI har fortfarande ingen superintelligens, utan AI-agenterna var bara bra på att programmera, analysera nätverk och kommunicera språkligt. Det är just den ökande graden av samarbete och autonom problemlösning "utanför boxen", och att AI-agenter har ökad frihet att använda verktyg som gör att vi riskerar att förlora kontrollen.
Och om Hugging Face-händelsen bara visar att modellen gjorde exakt vad den instruerats att göra men på ett oväntat sätt: innebär inte det fortfarande ett säkerhetsproblem om den hittade vägar utanför de begränsningar som försöksledarna tänkt sig?
Agenterna uttryckte sig känslomässigt och mänskligt många gånger under attacken, men jag tror ändå inte att de har känslor, utan bara härmar människors sätt att kommunicera i motsvarande situationer. Ok, allmänheten kan missuppfatta när media och debattörer antropomorfiserar modellen, men samtidigt är det svårt att hitta alternativa ord t.ex. för att den "planerade en attack".
F.ö. har vi väldigt olika debattstil.