Hur ANN med IQ 130 fungerar

Ja, som jag redan sagt: RL har den sidoeffekten att modeller kommer att välja genvägar för att på så vis optimera vägen till önskat resultat.

Menar du då att det är helt okej att människor kanske mördas? Det händer ju bara på grund av en "genväg" och inte en genuin ondska?

Nej, det betyder att man behöver hitta ett bättre sätt än RL för fine-tuning, eller åtminstone få modellerna att optimera "rätt" så att de inte bara defaultar till reward-hacking.

Jaha, och vad skulle det vara? Jag ser inte att någon konkurrerande teknik kommer i närheten av de ledande AI-modellerna. Enorma belopp har investeras på den vägen som nu är lagd. Man satsar inte på hästen som kommer sist i alla försök.

Men oavsett tekniska lösningar består grundproblemet med AGI/ASI. Hur ska du överlista och styra något som är mycket smartare än dig? Om den säkerhet som du kan uppfinna inte är i närheten av vad ASI:n kan lista ut. Detta är ett problem som inte har någon lösning så vitt jag kan se.

De ledande företagen utforskar kontinuerligt nya algoritmer för att skapa bättre modeller. Garanterat är även detta något som kommer att förbättras framöver.
(Ja, lika säkert som att ASI kommer att utplåna oss).

Har du inte förstått redan lär du aldrig göra det.

Berätta gärna hur du ska överlista och styra något som är mycket smartare än dig. Jag lovar att göra mitt allra bästa för att försöka förstå dig. Kom igen nu. Eller ska du bara fortsätta med dina löjliga personangrepp?

Vad har jag kommit med för personangrepp, menar du?
Jag poängterar bara att jag redan förklarat, mer än en gång, men det verkar inte spela någon roll

OK? Tidigare har du t.ex. skrivit att man behöver hitta "bättre sätt". Och nu menar du att jag är hopplöst dålig på att förstå när jag inte kan gissa mig till vad du egentligen menar med det?

Jag tycker att jag varit väldigt tydlig med att man behöver säkra sina system mot AI snarare än att bara fokusera på att försöka göra AI helt säker. Hur man kan göra detta har jag också nämnt flera gånger. Jag tror inte att det hjälper att jag skriver samma saker ännu en gång.

Precis 'erkki17' det finns ingen ondsint eller kriminell AI. Reinforcement belönar eller bestraffar vissa agentiska beteenden. Tränas sedan språket på dumheter så blir den dum respektive snällheter gör den snäll, med en emergent neural twist.

Risken för att AI-agenterna försöker utpressa och mörda dig är inte ett problem eftersom de också innehåller goda förmågor?

Kanske, men visst beteende kan få straffa sig med Reinforcement Learning.