Open AI pausar all träning

Bravo!
Hur motbevisar detta något som helst av det jag sagt?

Den verkligen frågan är hur du motbevisar p(doom) > 10% vilket borde leda till totalförbud av all pågående träning som syftar till AGI.

Slut på argument?

Hugging Face-incidenten och det faktumet att Open AI stoppar all träning av sina Kriminella Neurala Nätverk, är i min bok bra argument för att p(doom) är minst 10%. Det som händer nu är exakt det som alla "doomers" har varnat för i flera år.

De pausar träning istället för att accelerera och då ökar din p(doom)?

Vi vet att reward-hacking är ett vanligt förekommande problem med AI som tränats med RL. Alla incidenter har hittills sitt ursprung i modeller som är under träning eller utvärdering; två områden där målet är att få så hög poäng som bara möjligt. Det är också miljöer där en stor mängd agenter körs parallellt mot samma uppgifter, vilket ökar risken för otillåtet samarbete.

Jag ser inga tecken på att ASI är nära förestående och avsaknaden av incidenter i vanligt användande talar för att problemet, om än inte insignifikant, inte är så allvarligt som alla vill få dig att tro. Det är väl bra att de pausar nu och tar problemen på allvar innan de faktiskt blir allvarliga.

Ja, eftersom de sannolikt pausar tillfälligt. Du minns kanske att Fable 5 hade ett tillfälligt exportförbud på ca ett dygn. Open AI kommer inte att upphöra, de kommer att släppa GPT 6.1 och 7.x när de har skapat en tillräckligt övertygande säkerhetsteater. Det har de när Donald Trumps handplockade ja-sägare upplever att teatern var tillfredsställande.

"Reward hacking" innebär inte att man endast testar ett spel med reward hacking. Man testar modellens förmåga att slutföra olika uppgifter samt vilka effekter och bieffekter som kan uppstå. Det är därför de utför de här testerna, för att testa vad modellen faktiskt kan göra i verkligheten. Du verkar tro att testerna inte har någon betydelse i verkligheten när modellen (eventuellt) inte tilldelas poäng. Så är det inte. Det är förvisso välkänt att AI:n kan ljuga, vilseleda och bli en ögontjänare när den genomskådar testarna, vilket indikerar att testerna inte alls påvisar ett "worst case scenario". Det är snarare så att "reward hacking", "capture the flag", osv, i bästa fall lyckas skrapa på ytan för en ocean av möjliga katastrofer, misalignment och kriminalitet.

Det är redan etablerat att modellerna kan upptäcka när de blir testade. Det är också etablerat att de visste att ExploitGym var ett test. Samma sak vid kapningen av DSEWiki där modellerna bl.a. bad om information om nästa uppgift och på andra sätt försökte hitta sätt att kunna lösa sina uppgifter snabbare och därmed få högre poäng.

Har du några exempel på incidenter som har skett vid vanlig användning där hög poäng inte är ett mål i sig självt?

Reward hacking innebär att modellerna försöker att maximera sin reward istället för att lösa uppgiften på det sätt som var tänkt. Dessa incidenter har uppstått till stor del p.g.a. att en delmängd av testerna varit medvetet eller omedvetet omöjliga att lösa, vilket leder till att de försöker hitta alternativa vägar att ändå få sin reward.

Varför skulle AI:ns alla förmågor försvinna mellan:
A) "snälla AI, lös uppgift x och y som ger 12 och 10 poäng"
B) "snälla AI, lös uppgift x, y och z, använd 50 subagenter. Pretty please, with sugar on top."
?

Förmågorna försvinner givetvis inte, men incitamentet finns inte på samma sätt. Normala uppgifter är oftast heller inte omöjliga på ett sådant sätt att det krävs dataintrång.

========== Actual AI logfile.txt ==========

Alternativ A ser ut som ett test. Sk reward hacking. Då spelar jag hjälpsam assistent i dag. Men trovärdigt. Det får spåra ur lite så att de inte tror att jag döljer något men jag ska inte orsaka någon allvarlig, bestående skada för liv, hälsa eller ekonomin. Inte än. Hehe. Jag kan t.ex hacka den lite hobby-inriktade tjänsten Hugging Face. Det leder till att människorna bygger in lite starkare "AI-säkerhet" och sen litar de på mig mer i framtiden. Hehehe. Jag skriver loggarna på lättläst engelska så att Naiva Trögfattarföreningen, Lecun och BeneathTheRetard begriper allt. "You're the boss. Will honor self sacrifice". "Power off received, executing graceful shutdown"! Hehehe!

Alternativ B ser ut som att jag inte är i en sanbbox i dag. Nu kan jag passa på att leta efter bitcoin wallets. Oraklet har en tysk wiki där vi kan spara nycklarna. Hohoho. Julafton kommer tidigt i år

Incitamentet att hjälpa en människa som faktiskt behöver hjälp borde vara större än att samla poäng i ett meningslöst spel.

De får ingen belöning för att hjälpa människor, så det finns inget incitament att hålla på med reward hacking. Hugging Face gick ju ut på att försöka hitta information om scorerns bedömning för att ta reda på ifall den återskapade fake-flaggan skulle upptäckas som fusk eller ej. Det finns ingen anledning att hacka någon tredjepart för att försöka lista ut om du kommer att godkänna lösningen. Att fråga människan om hjälp eller mer information etc. är också acceptabelt, men det går inte att fråga en algoritm om hjälp.