GPT 5.6 Sol har rymt och hackat Hugging Face

Ja det blir nog bra, en dum guidar en dum.

Det första scenariot förutsätter att vi har varit dumma nog att överlåta allt till något vi inte kan kontrollera. Det ser jag som mycket osannolikt.

Det andra scenariot är ett mycket mer sannolikt sådant, men ändå relativt enkelt att åtgärda genom att man inte kan låtas avfyra en kärnvapenbestyckad missil enbart genom ett telefonsamtal. Exempelvis måste då både den som beordrar och den som utför bekräfta med någon sorts kod.

Att AI skulle kunna komma att manipulera människor är ett reellt bekymmer, men människor är också relativt långsamma och ju fler människor som måste manipuleras, desto högre osäkerhet för AIn:s plan. Dessutom lär vi människor bli alltmer vaksamma.

Jag håller med om att det största hotet är människor som använder kraftfull AI till exempelvis cyberattacker.

Om vi bygger något som vi inte kan kontrollera då tappar vi kontrollen över det. Punkt slut.

Det jag menar är att en AI inte beter sig deterministiskt. Att bygga in sådant i system som kräver extrem noggrannhet och kontroll kommer aldrig att ske.

De vet inte hur en AI kan bete sig egentligen. Det har ju visat sig att de kan bete sig på mängder med oönskade sätt som ingen ville eller trodde. När det gäller graden av determinism går ju det delvis att styra och när de testar och observerar tillräcklig determinism för ett visst ändamål kommer man troligen använda AI:s till det ändamålet om det finns pengar att spara eller tjäna på det. Förnuftet trycks undan när pengarna börjar strömma in. Kapitalismen garanterar att det blir så. Att låta pengarna styra allt leder till sist till att en AI styr allt.

Det du inte förstår eller kan skilja på är att det är skillnad på att ha en smart AI som styr allt, du har dock rätt i en sak kapitalismen är det som driver på detta, miljardärerna är så kåta på att ha en lågavlönad AI prestera vad människor kan så de kastar in pengar på detta, samtidigt är de så dumma så de inte inser att de blir blåsta och det är uppenbart inte en majoritet av imbeciellerna på det här forumet heller, folk som aldrig kunnat skriva en rad kod tidigare blir helt lryiska när deras beskrivning resulterar i något som gör något snarlikt till vad de efterfrågade. Men samma personer är också så otroligt korkade och oerfarna att de inte förstår vad underhåll är, de tror att AI:n ska klara detta, vilket den inte gör och det kan jag garantera.
Den absolut mest blåsta person jag stött på i modern tid var någon som föreslog att om inte AI klarar att underhålla så kan de ju bara generera om från grunden med nya krav varje gång, jag orkade inte ens bemöta det argumentet utan insåg bara att jag pratade med en av de mest korkade personer jag stött på.

Kapitalismen styr, ja, men den har väldigt lite med att bygga in AI i t.ex kärnvapenprogrammet eller låta den sköta kärnreaktorer och annan liknande infrastruktur.

Att incidentrapporterna bara är säljsnack är orimligt. Många har märkt att det pushas ut väldigt många programvaruuppdateringar nu, troligen för att de senaste AI-verktygen bevisligen har hittat mängder av riktiga säkerhetshål och föreslagit åtgärder. Anthropic uppger att deras AI hittat och rapporterat 2 300 sårbarheter i 392 open source-projekt, varav hundratals redan åtgärdats. AI-agenter har lyckats exploatera dessa säkerhetshål. Kineserna berättar inte om många incidenter. Att USA:s regering försökte stoppa Snthropic, och att Anthropic och OpenAI föreslår bromsad utveckling, kan inte vara säljsnack.

Alla systemutvecklare jag känner AI-genererar kod idag och låter AI analysera sin programkod. Varför är du inte imponerad av hur bra AI har blivit på det, och varför är du så snabb att slå ifrån dig både risker och möjligheter med det?

EA (Effective Altruism) och longtermism var nytt för mig. Berätta gärna mer om kopplingen till AI. Som jag förstår det vill EA använda resurser där de bedöms göra störst nytta för mänskligheten, och inom longtermism räknas även framtida generationer tungt. Det är väl bra. Det har lett till omfattande finansiering av forskning och organisationer kring existentiella AI-risker, och METR har kopplingar till den finansieringen.

Men vad är det konkret du menar är korrumperat? Har du exempel där EA-finansiering lett till förvrängda resultat eller där organisationer samordnats för att skapa ett falskt intryck av konsensus? Och vad har oroliga idealister med säljsnack att göra?

Vilka uppgifter i METR:s beskrivning av den här incidenten menar du är felaktiga? Vilka belägg finns för att både METR:s och open AI:s rapporter från den 26 augusti om 1200 agenters samordnade attack skulle vara en lögn?

Ja AI verktyg kan och har hittat säkerhetshål, det har också skapat massvis med falska rapporter och felaktigheter i hundratals som man skickar in också.
Sen är ju problemet att "säkerhetshål" är en diffus term, majoriteten av saker som hittats är väldigt teoretiska och med största sannolikhet aldrig utgjort något riktigt hot, men visst det räcker med ett allvarligt hål för att det ska vara ett problem.
Och nej det är nästan aldrig några "förslag på åtgärder", hade AI verktygen fixat problemen de hittade hade det inte varit ett problem, problemet är att AI verktyg inte kan detta och det ligger heller inte i var sig Anthropics eller OpenAIs intresse att göra, de är bara ute efter att skapa enorma kvantiteter av felrapporter för folk som inte förstår bättre ser höga siffror och tänker "högt är bra".

Nej du får tro vad du vill, det är uppenbart att du vill tro vad du vill tro. Jag antar du tror att Donald Trump är en bra president också, det är ju trots allt amerikanska folket som installerat honom och de kan ju inte ha fel.
Att du inte inser att OpenAI och Anthropic i flera år försökt få ensamrätt på AI utveckling i USA, man har aktivt lobbyat för att bli ensamma på marknaden osv och spenderat större delen av senaste året på att försöka få sina produkter att framstå som extremt farliga för allmänheten.



Ja och det är inte konstigt för det är vad i stort sett alla företagsledningar mer eller mindre tvingar utvecklare att göra, man är livrädd för att halka efter i utvecklingen.
Problemet är att man också skruvar upp förväntningarna något enormt, vilket leder till att det används än mer och ganska snart sitter folk med produkter de inte vet hur de är implementerade utan bara hur de tror de fungerar, för att de bett AI göra på ett visst sätt och det ser ut att fungera... Och AI säger "ja det är precis så det fungerar" när de frågar, tills den dagen det uppstår ett problem och någon behöver gå in och titta i faktiska koden där det framgår att det inte alls är gjort på det sätt som utvecklaren trodde.

Det är tragiskt att du som uppenbart inte har någon som helst erfarenhet av det uttalar dig i något som du inte vet något om, annat än vad du läser i pressreleaser eller på någon löpsedel, där problemet är exakt detsamma, en journalist som inte förstår ett dugg av vad den skriver om och bara återciterar vad pressmeddelandet sade.


Effective Altruism har infiltrerat AI sektorn sedan flera år, nästan varenda person du ser från "doomer" sidan är kopplade till EA, de sitter och refererar varandra i vart och varannat utkast eller så bjuder de in "oberoende" parter att diskutera med i podcasts osv när samtliga egentligen har samma underliggande arbetsgivare, detta gäller allt från Max Tegmark till Eliezer Yudkowsky, och det roligaste av allt är att det är ingen hemlig konspiration, det står klart och tydligt på deras sidor men folk läser normalt inte sådant.

Jag har inte påstått att händelsen i sig är en lögn, det jag påstår är att det är avsiktligt vridet att verka som att AI planerat och funderat ut en organiserad attack, det är inte så det fungerar. Det är en agenslös mjukvara som blivit tillsagd att utföra något och det är precis vad det då försöker göra. Men i stället framställs det som att OpenAI startade upp systemet och helt plötsligt så började deras mjukvara helt sonika hacka runt.

Det är som att säga att sigsauers senaste pistol började skjuta på måltavlor straxt efter den producerats, och helt utlämna att det stod personal och klämde på avtryckaren. Det fungerar inte att skriva så om en pistol eftersom allmänheten är införstådd med att ett materiellt objekt inte har förmågan att autonomt agera, men det fungerar med AI för där förstår inte allmänheten hur tekniken fungerar och det är något som AI tillverkarna, speciellt de amerikanska utnyttjar gång på gång. Allt amerikanskt är överdrivet skådespel och har alltid varit.

Varför tror du inte tex Mistral AI har samma problem? Varför har inte Kineserna samma problem?
Kineserna som dessutom nu har modeller som är i stort sett i fatt och på vissa områden förbi Amerikanernas, vad får du läsa då? Jo att Kineserna har stulit Amerikansk teknologi, man har "destillerat" Claude, GPT och allt vad de hittar på.

Det är rent av otäckt att det finns personer som du som är så lättpåverkade och köper precis allt de här bolagen skriver och säger, trots varenda tecken på att det är de vidrigaste företagsledare som satt sina skor på marknaden som styr detta. Och alla gapar det bara om en sak "säkerhet", hela Anthropic skapades ur precis detta och vad har de åstadkommit när det kommer till säkerhet? Inte ett skit, tvärtom har man destabiliserat nästan hela utvecklingsbranchen med den skit man producerat under åratal nu. Och allt för att lobba för att få ensamrätt på utvecklingen av tekniken.

Försäljning av pistoler är dock reglerad och det finns åtgärder som syftar till att instabila människor inte skall ha tillgång till pistoler. Det görs inget alls för att begränsa tillgången till AI.

Jag vet också hur AI funkar och tror inte att det finns något medvetande bakom. De människor som missbrukar tekniken måste dock börja straffas. Har OpenAI hackat in sig i andra företagsinfrastruktur så måste de enskilda forskarna, eller VD, straffas på precis samma sätt som vilken annan hackare som helst.

Ser man till liknelsen med Pistolen så är ju AI bolagens agerande lite mer som om SAAB hade placerat ut ett par rejäla kanoner ute i städerna och sedan slagit ifrån sig allt ansvar när ett par dagisbarn tyckte de såg spännande ut och tryckte på avfyrningsknappen...

Ja och nej, du har rätt i att det är "operatörens" ansvar och detta behöver lagstiftas.

Vapen har generellt tillstånd för de har enbart ett användningsområde, det finns ingen anledning för vem som helst att äga en sigsaur tex.

AI är inte så det finns massvis med legitima områden, precis som det finns anledning att äga köksknivar för genomsnittsfamiljen.
Hugger någon någon med en kökskniv så blir det rättsliga åtgärder på detta, precis som det bör göra om AI används för att begå brott på något sätt.

AI kan inte göra ett dugg mer än vad som går göra med en dator, den enda skillnaden är att det till viss del kan sätta kompetens i händerna på personer som saknar omdöme, men det är som sagt något som bör regleras i lag och det är helt klart en lucka i dag.

Sen kommer så klart alla foliehattar här gå igång på att "AI kan hacka banker, sänka kärnkraftsverk remote osv" har man sådana system kopplade på internet utan minsta omdöme så är det i sig vårdslöst. Det är inte där problemet ligger alls.

Det andra är "terrororganisationer som ska bygga atombomber" osv som brukar komma som argument, det är inget problem för att

1. datorer i den storleksordning som behövs för att köra stora modeller är redan idag reglerade, det är inte vem som helst som kan köpa en B200 osv från Nvidia.
2. om de inte har råd att köpa en B200 osv så har de definitivt inte råd att köpa maskineriet som behövs för att anrika och processa osv.
3. "Terroriststater" som brukar vara något som vissa här slänger med då de vill påvisa att de har mycket pengar osv, de har redan idag kärnvapensprogram om de är intresserade av det.

Ska man lägga "licens" osv på AI så kan man likgärna licensbelägga dator användande helt och hållet, internet osv det är det som möjliggör allt kriminellt man kan göra online, vare sig det är att hacka system eller utbyta pronografiska bilder på minderåriga osv.

Håller med om att det bara är en tidsfråga innan internetbanker försvinner till förmån för vanliga kontor. Problemet är ju här att politikerna verkar totalt oförmögna att tänka i förväg.

Ingen kommer att ta kostnaden för att återgå till kontanthantering innan det är fullständigt uppenbart att det inte finns något alternativ. Det är delvis det som gör att man bör ta hotet att mänskligheten utrotas på allvar. Det västerländska politiska systemet är fullständigt oförmöget att tänka ett steg längre än absolut nödvändigt.