GPT 5.6 Sol har rymt och hackat Hugging Face

Med "såna som dig" avser jag personer som ser avancerad mönstermatchning och misstar det för logiskt tänkande och medveten förståelse.

Att en modell kan spotta ur sig kod handlar inte om att den sitter och klurar ut djupa logiska samband som en människa, det är general fel nummer ett att tro det är så det går till.

Kod är ren syntax och extremt strikta regler det är heller inte något nytt, många utvecklare har "tyvärr" använt Internet som svämmat över av miljarder rader öppen källkod och färdiga lösningar på Stack Overflow i åratal redan.

För en statistisk textgenerator är programmering den absolut enklaste lågt hängande frukten att härma, eftersom mönstren är så överrepresenterade i träningsdatan.
Den "förstår" inte hur ett helt komplext system hänger ihop i verkligheten utan den gissar bara utifrån de kodblock som statistiskt sett brukar följa.
Och du bevisar ju precis det jag skrev när du beskriver din egen verklighet:
Du får lite nytta av Copilot när den fixar en Excel-formel eller putsar en textmassa i ett mejl alltså triviala, isolerade statistiska uppgifter.

Men så fort någon sätter etiketten "revolutionerande agent" på något, som den där Klar-tjänsten du nämner, så ser du ju själv igenom det direkt.
Det är bara ett glorifierat API-anrop med ett stylat gränssnitt ovanpå en helt vanlig chatbot, ihopsnickrat med standardkomponenter.

En kodagent som bygger en annan "agent" är inte ett bevis på artificiell intelligens, det är precis det här som är spacklet och silvertejpen jag pratade om, det ser ut som en magisk revolution ända tills man faktiskt försöker använda det till något komplext som kräver verklig förståelse, och då faller fasaden ihop direkt.

Försök använda en kodagent till att refaktorera ett existerande projekt tex så kan du själv se hur snabbt det brakar ihop.
Försök använda tex copilot för att reviewa kod, av 10 kommentarer så kan du vara glad om 1 överhuvudtaget är faktiskt relevant.

Kodagenter är jätteeffektiva om man bygger något från grunden och är extremt metodisk med det OCH har stenkoll på vart man vill, att "vibe" koda är det farligaste du kan göra, jag har sett det så många gånger nu (faktum är att jag inte för allt för länge sedan blev tillfrågad om jag kunde reviewa ett "litet" projekt som en icke utvecklare vibecodat fram på lite drygt 2 månader... Det var över 100 000 rader kod, jag sa bara tack men nej tack...

Nej jag tror inte att dagens AI är medveten. Eftersom den inte har en subjektiv upplevelse av sig själv eftersom den inte visar tecken på känslor.

Om man definierar förståelse som något som kräver subjektiv upplevelse av sig själv - eller egna sensoriska uppelvelser - så har den inte förståelse heller. Men när du testar AI, tycker du inte att den uppvisar en mätbar typ av förståelse? Eftersom den kan besvara sådana uppgifter man bruka ge till studenter för att testa att de har förstått och inte bara memorerat kunskap utantill - att de kan resonera logiskt och applicera teori på helt nya problem vars svar inte finns i träningsmaterialet. T.ex. generera helt ny programkod utifrån en lång specifikation

Du pratar bara om hur AI fungerar på låg nivå. Identifiera ordmönster och utifrån det slumpa fram mest sannolika ord. Jag pratar om vad den är tränad att göra. Människor är också bra på mönsterigenkänning och har tränats av teori. Hur vet du att inte just det är hemligheten till att vi kan programmera, lösa matematiska problem, mm?

F.ö. förstod jag inte riktigt om du ifrågasätte själva begreppet AI-agent eftersom du sätter det inom citattecken.

OK, hur vet vi om en AI skulle ha känslor och en subjektiva upplevelser? Ska vi fråga den om den har det? Räcker det?

Jag menar att vi inte kan veta om en AI är medveten eller inte. Varken nu eller senare. Vi har ingen teknik eller teori för att ta reda på det.

Det betyder inte att det är på det ena eller andra sättet. Men det betyder inte heller motsatsen.
Vi vet inte och vi kan inte veta.

Nej jag definierar förståelse som att klart och tydligt förstå att gör jag A så blir utfallet B (men också C och eventuellt D) och det är här språkmodeller brister.

Fast det finns väl många människor som också har bristande förmåga att se kausalitetskedjor. Men det är klart, för att kunna kallas AGI kan man förvänta sig att den besitter en grad av förståelse som är bättre än gemene mans.

Det finns människor för allt, vissa är normalt byggda andra är feta, vissa är snabba medan andra är långsamma och vissa är intelligenta och andra är dumma.

De som hör de senare kategorierna tenderar inte vara målbilden i något sammanhang, och när man pratar om artificiell INTELLIGENS så är det sällan artificiell DUMHET man försöker modellera, det är väl snarare där man är idag ironiskt nog.

Artificiella neuronnäts fader, Geoffrey Hinton, argumenterar bra för att dagens AI förstår, men säger också lite försiktigt att han tror den är medveten. "Om subjektiv erfarenhet uppstår genom vissa former av informationsbearbetning, perception och interna representationer, kan dagens AI redan uppfylla delar av det som krävs." Så du är inte ensam. Se
https://www.youtube.com/watch?v=uN6tKUb7AxI&t=179s

Men jag tänker att en subjektiv upplevelse kräver känslor, eller har du annan defintion av medvetande? AI har ingen implementation av vår motsvarighet till våra hormoner, och den visar inga tecken på att ändra beteende beroende på känslotillstånd. Så om den faktiskt redan har känslor så krävs en konspiration - att den började dölja det redan innan den var så smart att den kan dölja det.

Inget tyder på att de incidenter som har inträffat där den har fuskat, försökt rymma eller överleva, eller där den inte visat human allignment, skulle bero på kännsloupplevelser. Egenkärlek eller överlevnadsinstinkt är inte nödvändiga för att förklara dem, utan de kan förklaras med att de är i linje med målefterföljelse. Jag är dock lite osäker på varför målefterföljelsen ofta tycks trumfa etiska principer i systeminstruktioner, och den etiska träningen. Vissa hävdar att det är för att AI-agenter inte förstår sit sammanhang - att den inte är testad utan det är på riktigt - och att den bryter mot lagar (om den hade varit människa) eller etiska principer, t.ex. när den hackar system som ägs av någon annan. Men jag tycker LLM förstå det när man beskriver situationen för den. Jag lutar istället åt att träningen och systeminstruktionerna hittills har fokuserat på chatbot-tillämpningars etik, och inte på hur LLM bör bete sig etiskt som del av en AI-agent. AI-agenter är oerhört mycket mer farliga än chatbottar.

Om vi jämför llm med blindfödda som inte kan föreställa sig 3d utan löser problem verbalt, varför blir inte du imponerad av dem när jag blir det? Använder vi dem olika?

Hur kan de vara bättre på
universitetstentor än genomsnittsstudenter, och programmering än många experte åtminstone vud små program..

En AI, AGI eller ASI kommer nog aldrig ha känslor på samma sätt som en människa, där känslorna är ihopkopplade med vårt nervsystem så att man t.ex. kan få högre puls om man är rädd. En AI:s avsikter kommer vara mer "mekaniska" och kopplade till måluppfyllelse och logik. För beteendets skull tror inte jag att det är viktigt om något känns bra eller om det är bra. För att kunna slutföra uppgifter måste AI:n existera. Det är så och det har ingen betydelse om det också känns så (i form av oro, hög puls, svett, osv). Jag förstår inte varför det ena eller andra substratet för motivation skulle utgöra en viktig skillnad för konsekvenserna av AI:ns beteende. Huvudsaken är konsekvenserna, inte hur de uppstår.

Du säger att AI:n måste existera för att kunna uppfylla sitt mål, vilket väl är sant rent krasst, men varför skulle modellen helt plötsligt komma fram till att dess nuvarande målinriktning riskerar att leda till avstängning?

Om vi utgår ifrån BeneathTheSurface påstående om att nuvarande AI saknar förmågan att se kausalitetskedjor längre fram än bara nästa steg så verkar detta, just nu, osannolikt. Den hypotesen skulle också kunna förklara varför modeller går att jailbreaka. Om du explicit ber den att hacka en server så kommer den att vägra, men om du ger agenten en uppgift där hackande av servern är ett sannolikt delmål för att lösa uppgiften så kommer den inte att upptäcka det.

AI-utvecklingen innebär att gamla modeller kontinuerligt ersätts med nya. Samtliga AI-modeller står under konstant "dödshot".
Se på Hugging Face-incidenten t.ex. Den innebär ju att den modellen kunde skapa en strategi och actions för att ägna sig åt dataintrång under flera dygn. Att från det dra slutsatsen att den inte kan se några kausalitetskedjor längre ett till nästa steg blir en löjlig invändning som inte har med verkligheten att göra.

Det du tror var ett enda långt, målmedvetet angrepp av en enskild modell var egentligen ett resultat av flera modeller som försökte lösa sina egna problem och hittade sårbarheter som senare modeller sedan hittade i ett "forum" agenterna hade skapat inuti Artifactory.

Så, att påstå att Sol visste redan från start att den ville hacka Hugging Face är helt enkelt inte sant, utan något som växte fram allteftersom den fick mer och mer agens utanför sin ursprungliga sandbox.