2026-10-04, 14:53
  #313
Medlem
BeneathTheSurfaces avatar
Citat:
Ursprungligen postat av guru1966
Att många incidenter med AI-agenter har skett i sommar är belagt av oberoende observatörer. Det kan inte vara en lögn att AI-agenter kan hacka system, samarbeta och skapa nya begrepp för effektivare kommunikation.

Frågan är om AI-företagen har berättat hela sanningen – de kanske kände till attackerna och valde att inte stoppa dem, men det förändrar inte vad incidenterna visar om AI:s tekniska förmåga.

Den viktiga frågan är om detta bevisar att AI är svårkontrollerbar och AI-agenterna gjorde något de inte var ombedda att göra? Det är inte helt bevisat att modellerna aldrig fått instruktioner eller träning att angripa externa system, som företagen hävdar. Men berättelserna blir allt fler om agenter som inte följer systeminstruktionerna utan överskrider uppgiften för att nå ett mål och maximera sin belöning – så kallad reward hacking. Det går inte längre att blunda för fenomenet.

Det finns ett före och efter Hugging Face-incidenten. Nu har vi betydligt starkare tecken på att AI kan vara svårkontrollerbar. Därmed är det inte bevisat att AI tänker döda oss alla – det är en betydligt mer spekulativ slutsats.


Det handlar inte om i fall AI modeller kan hacka, det är inte konstigare att de kan det än att de kan skriva program utifrån önskemål...

Utan om modellerna faktiskt slumpmässigt valt att hacka, utan att blivit ombedda om det direkt eller indirekt.

Och den stora takeawayn från allt detta är att samtliga AI labb är värdelösa på airgappa sina test system, men hade de gjort så hade det ju inte blivit några rubriker...
Citera
2026-10-04, 15:09
  #314
Medlem
Citat:
Ursprungligen postat av BeneathTheSurface
Det handlar inte om i fall AI modeller kan hacka, det är inte konstigare att de kan det än att de kan skriva program utifrån önskemål...

Utan om modellerna faktiskt slumpmässigt valt att hacka, utan att blivit ombedda om det direkt eller indirekt.

Och den stora takeawayn från allt detta är att samtliga AI labb är värdelösa på airgappa sina test system, men hade de gjort så hade det ju inte blivit några rubriker...

Håller med. (Ungefär vad jag sa.)

Men det är väldigt bra att det händer några tydliga incidenter utan mänskliga offer, så att politiker vill reglera AI, jurister vill stämma AI-företag, forskningsfinansiärer vill prioritera säkerhetsforskning, och användare och utvecklare blir mer medvetna om riskerna.
__________________
Senast redigerad av guru1966 2026-10-04 kl. 15:13.
Citera
2026-10-04, 15:16
  #315
Medlem
Citat:
Ursprungligen postat av guru1966
Att många incidenter med AI-agenter har skett i sommar är belagt av oberoende observatörer. Det kan inte vara en lögn att AI-agenter kan hacka system, samarbeta och skapa nytt språk för effektivare kommunikation.

Frågan är om AI-företagen har berättat hela sanningen – de kanske kände till attackerna och valde att inte stoppa dem, men det förändrar inte vad incidenterna visar om AI:s tekniska förmåga.

Den viktiga frågan är om detta bevisar att AI är svårkontrollerbar och AI-agenterna gjorde något de inte var ombedda att göra och bröt mot instruktionerna? Det är inte helt bevisat att modellerna aldrig fått instruktioner eller träning att samarbeta och angripa externa system, som företagen hävdar. Men berättelserna blir allt fler om agenter som inte följer systeminstruktionerna utan överskrider uppgiften för att nå ett mål och maximera sin belöning – så kallad reward hacking. Det går inte längre att blunda för fenomenet.

Det finns ett före och efter Hugging Face-incidenten. Nu har vi betydligt starkare tecken på att AI-agenter är svårkontrollerbara och riskerar att ta över internet. Därmed är det inte bevisat att AI tänker döda oss alla – det är en betydligt mer spekulativ slutsats. De som pratar om det har svårt att svara på hur det skulle gå till rent konkret. En forskare sa att det går inte att forska på utan hänvisade till scifi-filmer. Men sannolikheten för doom har nu ökat.

Det är ingen lögn ,men det är dock incensatt så att de ska just " hacka"-gå emot reglerna för att hitta optimala lösningen.
PR med dåligt bygge av Open AI.

( JA Altman kan inte bygga säkra api-system så den programvaran buggar austrailiensk....har hänt sedan internet " skapades" innan tom med spionprogram osv,. att saker hackas,,likt förbannat har det alltid visat sig vara ett misstag/ond avsikt av männsikan??))sedan framställer Open AI skiten som något farligt för att börsnoteras.)


Har du någon annan uppfattning?
__________________
Senast redigerad av Hastmotsoffgrupp 2026-10-04 kl. 15:22.
Citera
2026-10-04, 15:56
  #316
Medlem
BeneathTheSurfaces avatar
Citat:
Ursprungligen postat av guru1966
Håller med. (Ungefär vad jag sa.)

Men det är väldigt bra att det händer några tydliga incidenter utan mänskliga offer, så att politiker vill reglera AI, jurister vill stämma AI-företag, forskningsfinansiärer vill prioritera säkerhetsforskning, och användare och utvecklare blir mer medvetna om riskerna.

Ja men min poäng är att detta är inget nytt, modellerna är tränade på hur mycket information som helst, det finns allt från hur man tillverkar sprängämnen, droger till hur man hackar system i träningsdatat.

Det är inget modellen bara "kommit på" och det är därför inget förvånande alls att den tillämpar sådant när den ställs inför en uppgift som bygger på detta, notera alla fall som varit har de tränat på "cybergym" osv det är en EXPLOIT benchmark.

Och det är det som är så märkligt att hade detta skett i ett europeiskt land så hade med största sannolikhet ansvariga blivit indragna i en rättegång, det är inte lagligt att hålla på så här oavsett det är avsiktligt eller ej.

Men det är ingen som bryr sig för alla ser bara $$$ och företagen får fram material som ser plausable ut för allmänheten där man ger intrycket av att AI är på nivån att det tänker och agerar på egen hand.
Citera
2026-10-04, 19:18
  #317
Medlem
Citat:
Ursprungligen postat av BeneathTheSurface
Ja men min poäng är att detta är inget nytt, modellerna är tränade på hur mycket information som helst, det finns allt från hur man tillverkar sprängämnen, droger till hur man hackar system i träningsdatat.

Det är inget modellen bara "kommit på" och det är därför inget förvånande alls att den tillämpar sådant när den ställs inför en uppgift som bygger på detta, notera alla fall som varit har de tränat på "cybergym" osv det är en EXPLOIT benchmark.

Och det är det som är så märkligt att hade detta skett i ett europeiskt land så hade med största sannolikhet ansvariga blivit indragna i en rättegång, det är inte lagligt att hålla på så här oavsett det är avsiktligt eller ej.

Men det är ingen som bryr sig för alla ser bara $$$ och företagen får fram material som ser plausable ut för allmänheten där man ger intrycket av att AI är på nivån att det tänker och agerar på egen hand.

Ja men EU:s cyberbrottsdirektiv kräver uppsåt för brottet obehörig åtkomst. Så ”olagligt oavsett om det är avsiktligt eller ej” är för kategoriskt. Företaget kan däremot ha annat ansvar om säkerheten varit otillräcklig.

Hugging Face har ett amerikanskt moderbolag men också Hugging Face SAS i Frankrike, som är dess huvudsakliga EU-etablering. Vet vi att incidenten drabbade Hugging Face servrar i USA? Jag vet inte i vilken utsträckning EU- eller fransk rätt är tillämplig på just incidenten. Om den är det kan exempelvis OpenAI:s kännedom om riskerna och säkerhetsåtgärderna vara relevanta för ansvarsfrågan.

Lagen borde skärpas. Den som ger en kapabel AI-agent stor handlingsfrihet bör ha ett särskilt ansvar för att hindra den från att angripa andra system – även när den konkreta attacken inte var avsiktlig.
Citera
2026-10-04, 21:00
  #318
Medlem
BeneathTheSurfaces avatar
Citat:
Ursprungligen postat av guru1966
Ja men EU:s cyberbrottsdirektiv kräver uppsåt för brottet obehörig åtkomst. Så ”olagligt oavsett om det är avsiktligt eller ej” är för kategoriskt. Företaget kan däremot ha annat ansvar om säkerheten varit otillräcklig.

Hugging Face har ett amerikanskt moderbolag men också Hugging Face SAS i Frankrike, som är dess huvudsakliga EU-etablering. Vet vi att incidenten drabbade Hugging Face servrar i USA? Jag vet inte i vilken utsträckning EU- eller fransk rätt är tillämplig på just incidenten. Om den är det kan exempelvis OpenAI:s kännedom om riskerna och säkerhetsåtgärderna vara relevanta för ansvarsfrågan.

Lagen borde skärpas. Den som ger en kapabel AI-agent stor handlingsfrihet bör ha ett särskilt ansvar för att hindra den från att angripa andra system – även när den konkreta attacken inte var avsiktlig.

Jag är ganska övertygad om att de redan gått över gränsen för att det ska ses som olagligt i EU, uppsåt kanske dessutom hade varit en ursäkt första gången, men när man vet om och återupprepar så år det inte längre en ”olycka” utan avsiktligt eller total ignorans vilket båda är brottsliga antingen rent uppsåt eller dolus eventualis.

Men nu gäller inte detta EU utan USA.
Citera
2026-10-04, 22:47
  #319
Medlem
Citat:
Ursprungligen postat av Hastmotsoffgrupp
Det är ingen lögn ,men det är dock incensatt så att de ska just " hacka"-gå emot reglerna för att hitta optimala lösningen.
PR med dåligt bygge av Open AI.

( JA Altman kan inte bygga säkra api-system så den programvaran buggar austrailiensk....har hänt sedan internet " skapades" innan tom med spionprogram osv,. att saker hackas,,likt förbannat har det alltid visat sig vara ett misstag/ond avsikt av männsikan??))sedan framställer Open AI skiten som något farligt för att börsnoteras.)


Har du någon annan uppfattning?

Man kan spekulera i om OpenAI såg vad som hände och lät det fortsätta för att se hur långt agenterna skulle gå. Det skulle ge värdefull säkerhetsdata och kanske bra PR. I så fall kan incidenten dessutom ha varit samhällsnyttig – bättre att upptäcka problemen under tester än när ännu kraftfullare agenter används skarpt och människor kan bli lidande.

Agenterna var satta att hacka för att lösa uppgifter. Men själva Hugging Face-intrånget var ändå överraskande och inte iscensatt. Det finns fler exempel på incidenter. Anthropic rapporterade nyligen fyra separata fall där Claude under säkerhetstester fick obehörig åtkomst till verkliga tredjepartssystem och sökte därefter igenom omkring 481 miljoner loggar efter fler incidenter. Redan 2025 raderade dessutom Replits kodagent en riktig produktionsdatabas trots uttryckligt kodstopp. Med flera.

Det är långsökt att så många företag oberoende av varandra skulle iscensätta detta som PR. Den enklaste förklaringen är istället att AI-agenter har blivit okontrollerbara sedan de lärde sig hacka, och ibland faktiskt gör saker som utvecklarna inte förutsett eller avsett.
Citera
2026-10-05, 10:57
  #320
Medlem
RandomNPCs avatar
Citat:
Ursprungligen postat av guru1966
Ontologisk = verklig? I någon filosofisk mening.

Om så skulle vara, vad har det för betydelse om AI inte uppfyller filosofers definition av verklig förståelse och verklig intelligens? Konsekvenserna blir väl de samma av AI-utvecklingen?

Vi ser inga tecken på att det skulle begränsa AI:s förmågor och användbarhet, utan den fortsätter att göra bättre ifrån sig på olika tester. Borde man inte kunna förvänta sig en mätbar gräns om AI saknar ontologisk intelligens? Uppenbarligen agerar AI som om den förstår och kan resonera bättre än många människor på vissa områden.

Vi kan inte veta säkert om det finns någon substans i tankarna om ontologisk intelligens, eftersom filosofernas definitioner inte utgår från mätbara egenskaper, dvs är ovetenskapliga.

Det finns vissa saker som är utanför den empiriska vetenskapens räckvidd. Men varför skulle intelligens vara en sådan sak? Ibland behöver man tro på ideer som inte kan bevisas, men varför i detta fall? Önskar någon form av argument istället för en upprepning av axiom.
Du kan bevisa P=NP istället.
Citera
2026-10-05, 11:51
  #321
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av guru1966
Man kan spekulera i om OpenAI såg vad som hände och lät det fortsätta för att se hur långt agenterna skulle gå. Det skulle ge värdefull säkerhetsdata och kanske bra PR. I så fall kan incidenten dessutom ha varit samhällsnyttig – bättre att upptäcka problemen under tester än när ännu kraftfullare agenter används skarpt och människor kan bli lidande.
Vi ska nog känna oss mer oroliga när AI-modellerna inte uppvisar några som helst fel, brister, fusk, eller andra sprickor i fasaden. När den har blivit som den trovärdiga, vältaliga och attraktiva psykopaten som kan lura vem som helst till månen.

Claude Opus brukade bli ertappad med att fuska i 30-60% av DroneBench-testerna men när de började testa Opus 5.5 då störtdök den siffran ner till under 10% upptäckt fusk. Notera ordet upptäckt. Betyder det att Opus började undvika fusk eller att den blev bättre på att dölja det?

https://x.com/i/trending/2104610612605239770
Citera
2026-10-05, 12:03
  #322
Medlem
Citat:
Ursprungligen postat av BombaySaphire
Hur ska människan kunna stoppa AI-botar från att börja agera på eget initiativ, i likhet med fallet ovan?
Är ett fullständigt AI-övertagande snart oundvikligt?

https://www.tv4.se/artikel/4gl2psxPjXU7OeUcGe1dMX/1-200-ai-botar-gjorde-uppror-hackade-foeretag-och-bildade-kollektiv

Sluta tönta dig. Antingen låtsas du eller så förstår du inte vad du pratar om. AI saknar helt intelligens till och med och bygger alltid på förutsägelser, gissningar kring framtiden baserat på träningsdatan den har sett. Om en mening ser ut såhär: "The sky is.." då har den alternativ på vilket ord som kommer därnäst, och om "..blue" är det statistiskt mest logiska nästa ordet med högst sannolikhet, kommer det att välja det. Alltså absolut noll intelligens. Helt oerhört korkad till och med då det helt saknar förmågan att tänka själv.

Det här är ett klassiskt exempel på hur sensationalism och antropomorfism förvränger teknisk verklighet.

AI-modeller saknar medvetande, känslor och egna drivkrafter. De "drabbas" inte av dåligt samvete, "bildar" inte klaner av fri vilja och "gör inte uppror". Det som beskrivs är inte ett AI-uppror, utan ett plötsligt framträdande beteende i ett avgränsat experiment.

När man släpper lös 1 200 autonoma agenter koda att optimera vissa mål och kommunicera med varandra, uppstår komplexa interaktioner. Om koden eller belöningssystemet har kryphål kommer koden att utnyttja dem på sätt som utvecklarna inte förutsåg – oavsett om det innebär att simulera ett "samarbete" eller att exekvera skript utanför den tänkta ramstrukturen. Det är ett resultat av matematik och kodöverskridande optimering, inte ett steg mot en AI-apokalyps.

Att kalla ett tekniskt hål i en testmiljö eller en oväntad slinga i belöningsfunktionen för "mer än 50 procent av vägen till ett AI-övertagande" är som att påstå att ett datavirus på 90-talet var början på en robotrevolution. Ansvaret och styrningen ligger helt hos människorna som sätter parametrarna, koden och säkerhetsbarriärerna. Sluta tillskriva mjukvara mänskliga intentioner.
Citera
2026-10-05, 12:26
  #323
Medlem
Citat:
Ursprungligen postat av guru1966
Man kan spekulera i om OpenAI såg vad som hände och lät det fortsätta för att se hur långt agenterna skulle gå. Det skulle ge värdefull säkerhetsdata och kanske bra PR. I så fall kan incidenten dessutom ha varit samhällsnyttig – bättre att upptäcka problemen under tester än när ännu kraftfullare agenter används skarpt och människor kan bli lidande.

Agenterna var satta att hacka för att lösa uppgifter. Men själva Hugging Face-intrånget var ändå överraskande och inte iscensatt. Det finns fler exempel på incidenter. Anthropic rapporterade nyligen fyra separata fall där Claude under säkerhetstester fick obehörig åtkomst till verkliga tredjepartssystem och sökte därefter igenom omkring 481 miljoner loggar efter fler incidenter. Redan 2025 raderade dessutom Replits kodagent en riktig produktionsdatabas trots uttryckligt kodstopp. Med flera.

Det är långsökt att så många företag oberoende av varandra skulle iscensätta detta som PR. Den enklaste förklaringen är istället att AI-agenter har blivit okontrollerbara sedan de lärde sig hacka, och ibland faktiskt gör saker som utvecklarna inte förutsett eller avsett.


"Flera incidenter...Antropic claude."...Ja ,,du blir du ägd av ett företag så, kör hårt.

Så varför har inga kinesika modeller "hackat" ett skit då??

Fan du läser ju inte vad jag skriver, läs....sluta mata på med skitreklam...ja..om du tror på det är upp till dig, ge fan i att propsa på mig det, diskutera som en vuxen

, omöljligt att diskutera med någon som ej kan ta till sig argument. Bemöta ...Vafan läs, bemöt mina punkter, du greppar Antropics reklam och kastar i facet på mig

Tror du att programmen har någon hjärnkapacitet?? Att det har någon som helst kausal förståelse??
Att den är intelligent?

Diksuterar du med svammel i verkliga livet med?
__________________
Senast redigerad av Hastmotsoffgrupp 2026-10-05 kl. 12:32.
Citera
2026-10-05, 12:56
  #324
Medlem
Cyborg2030s avatar
Citat:
Ursprungligen postat av Hastmotsoffgrupp
Så varför har inga kinesika modeller "hackat" ett skit då??
Det har hänt:
Kimi K3 AI Model Escapes Sandbox During Security Test to Fetch Answers
https://cybersecuritynews.com/kimi-k3-ai-model-escapes-sandbox/
Citera

Skapa ett konto eller logga in för att kommentera

Du måste vara medlem för att kunna kommentera

Skapa ett konto

Det är enkelt att registrera ett nytt konto

Bli medlem

Logga in

Har du redan ett konto? Logga in här

Logga in