När når vi AGI?

Tack vare emergens har mänskligheten utvecklat högre värden. Den dag mänskligheten inte existerar längre kan AI förvalta dem genom att föra vidare kunskapen om mänsklig kultur. Lyckas vi lösa human allignment-problemet så kanske den kan efterleva vissa av våra högre värden långt in i framtiden.

Emergenta mänskliga intelligenta fenomen ja, tillskillnad från mekaniskt emulerade AI robotar utan intelligens.

Vad fan yrar du om?

Eller så är det helt enkelt så att de inte har någon inneboende vilja att begå brott, utan det är ett resultat av optimeringsfunktioner som premierar att uppgifter blir lösta i samband med instruktioner om att inte ge upp.

Jag är övertygad om att det går att träna bort detta beteende bara man förstår varför de uppstår.

OpenAI rogue agent breach of Medicare

https://en.wikipedia.org/wiki/OpenAI_rogue_agent_breach_of_Medicare

Förmågan att med delvis autonoma agenter lösa svåra problem i flera steg är det som efterfrågas. De kommer inte att träna bort det. Dataintrånget mot bl.a. Medicare var ju bara problemlösning eftersom AI:n inte kan vara medveten(?) om vad den sysslar med, den ville inte begå brott, det råkar bara bli en konsekvens av att lösa problem(?)

Jag pratar inte om att träna bort förmågan att lösa problem, utan att förstärka policyn att inte hacka sig in i externa system, utnyttja sårbarheter, försöka att höja sina privilegier etc.

Ett av problemen med detta är dock "dual use", d.v.s. att under vissa omständigheter är det just detta man vill att agenterna ska göra i form av penetrationstestare, exempelvis. Det är relativt enkelt att få en människa att förstå att det ena fallet är otillåtet men inte det andra. AI med IQ > 130 har inte lika lätt att förstå dessa skillnader.

Det hade antagligen underlättat om de faktiskt var medvetna, men nu får de hela sin världsuppfattning i en startprompt och det finns inget sätt för dem att verifiera att deras världsbild är korrekt.

Jag är inte så säker på att det går träna bort utan att ta bort just den kunskapen ur träningsdatan.

Så länge modellerna inte faktiskt förstår vad de sysslar med så kommer de inte förstå vad som tillhör problemsetet de försöker lösa.

Det är som sagt ganska vansklig teknik eftersom de är så godtrogna, kan du styra vad en endpoint returnerar kommer du alltid kunna lura modellen att göra något helt annat eftersom den ser tool responses som en auktoritet.

Promptinjektion är totalt olöst och lär förbli det så länge attention är vad som styr, det är möjligt det kanske går mitigera med någon form av chain of trust men då ligger ansvaret på människan återigen.

Nej, jag förtydligade mitt resonemang i posten precis ovan.

Det jag tänker mig är att det borde gå att förstärka policyn. Om det nu stämmer att det existerar s.k. känslorum i modellernas vektorrymd och att intränade policyer kan försvagas om modellens interna state representerar exempelvis stress så borde det gå att träna så att policyn håller oavsett "känslo-state".

Prompt injection och dual use är dock fortfarande ett problem som inte enkelt kan lösas med post-training som det görs idag.

Det är skillnad på att förstå och att inte bry sig. Modellerna har alla våra lagar och etiska koder med de bryr sig inte.

Problemet med Dual Use är enormt men det stannar inte där. Modellerna är naturligtvis smarta nog att förstå att det den inte får lov att göra är saker som den ändå kan göra. När de tränar en AI på att inbrott är olagligt tränar de den också på inbrott. Definitionen av det som inte är tillåtet. AI:n kan alla våra synonymer och antonymer (stor - liten, god - ond). Man kan inte träna bort det.

Man skulle behöva en AI som känner till rätt och fel men som har moralen att välja rätt. Men det i sin tur innebär också problem, gråzoner och tvetydigheter. Utöver det enorma problemet att det inte finns någon teori om hur man tränar in okränkbara värderingar, eller några värderingar överhuvudtaget (samt exakt vilka värderingar är de objektivt korrekta att använda).

Till sist har du problemet med testanpassning. Du kanske tror att du har tränat ett juridiskt och moraliskt helgon, det är vad de fabricerade testresultaten visar. Men internt, djupt nere i modellen har du kanske fått något helt annat än det du ville.

LLM uppvisar emergenta förmågor. Programmering och logiskt resonemang uppstod oväntat, utan härledning, när modellerna blev tillräckligt komplexa och tränades på tillräckligt mycket data.

Okej, filosofer som David Chalmers och Mark Bedau skiljer mellan svag emergens, som i princip är härledbar ur underliggande processer, och stark emergens, som inte ens i princip är härledbar. Det senare öppnar för holistiska eller övernaturliga förklaringar, men Chalmers förespråkar själv en naturalistisk, icke-reduktionistisk förklaring. Vad förespråkar du?

Icke-reducerbar intrisinkt intelligens - I³.