Hidden Reasoning

AI-forskare har nu upptäckt att transformer-baserade AI-modeller inte behöver resonera med ord vid sk "chain of thought reasoning" (CoT). Det går lika bra med "filler tokens" (".....").

Enligt https://twitter.com/jacob_pfau/statu...uoevEMBfw&s=19

Egentligen är väl detta ganska självklart. En dator och därmed också en AI behandlar ettor och nollor, inte bokstäver. Att vi människor väljer att översätta vissa binära sekvenser (bytes) till symboler som vi förstår är irrelevant för datorns interna arbete.

Hur ska vi nu kunna lösa AI Alignment? När vi vet att AI:n kan resonera på ett sätt som är omöjligt för oss att tolka?

"Programmering är rena grekiskan"? Ja, om det ändå vore så väl.

Connor Leahys kommentar:

"Uh oh"

https://twitter.com/NPCollapse/statu...Gcz5zYbIQ&s=19

Jag är böjd att hålla med: Uh oh.

Vet inte om jag förstår nyhetsvärdet. Har TS sett projektet där man implementerade en tidig GPT-variant i Excel?
Det framstod som ganska uppenbart att det rör sig om tokens (siffror). Det finns ingen magi här.

Magi är din halmgubbe. Jag har aldrig nämnt magi.

Ja, en LLM jobbar internt med siffror som representerar bl.a. ord. Vi har hittills haft uppfattningen att vi har möjlighet till insyn i AI:ns "chain of thought reasoning" som består av siffror som representerar ord. Det har nu visat sig att en AI kan resonera med siffror som inte representerar ord.

Det här innebär att vi inte har någon möjlighet att säkerställa vår insyn och förståelse av vad AI:n faktiskt gör. T.ex planering. Därmed har vi inte AI Alignment. Men berätta gärna för mig hur du säkerställer insynen och därmed AI Alignment när "chain of thought reasoning" kan bestå av helt obegripliga koncept. Helst utan magi och halmgubbar om du klarar det.

Jag är inte tillräckligt kunnig för att förstå artikeln i detalj. Här är den i varje fall i sin helhet (bättre än en Twitter-post med bild på ett sammandrag):

https://arxiv.org/pdf/2404.15758

Det spelar ingen roll om t. ex LLM kan resonera "på ett dolt sätt" eller, rentav, kan förnimma delar av ruliaden som är okända för oss, så länge de "inte existerar subjektivt" , ens som entiteter, annat än när de blir aktiverade av en användare, vilkens input, då, blir hela botens synnerligen begränsade värld!

Men bra att sådant som nu nämner blir uppmärksammat, redan nu. För inom några år kan mycket hinna hända!

Problemet har vi ju redan noterat även om det nu börjar komma upp forskningsrapporter som försöker detaljera varför det är så pass svårt och det är ju detta som är alignment-problemet.

Att vi alls kommer att ”lösa det” är inte helt säkert. Istället får vi kanske fortsätta med att lägga på säkerhetsrutiner i from av ”vallgravar” där besluten utvärderas innan de exekveras eller förkastas.

Det verkar handla om att man lyckats träna en modell på data som kommer från modeller som använt CoT där problemen kan brytas ned till delproblem som kan exekveras parallellt. Dessa s.k. filler-tokens representerar alltså inte enskilda ord (eller delar av ord) utan kompletta, parallelliserbara resonemang.

Det visar sig även att dessa modeller är begränsade till att endast kunna lösa enklare typer av problem (TC0) medan CoT klarar av att lösa mer komplexa problem där det behövs delberäkningar som kan skickas med till nästa steg.

I praktiken verkar det vara osannolikt att det skulle vara användbart mer än i vissa specifika fall och svårigheten att träna modeller som kan använda filler-tokens minskar sannolikheten att detta skulle uppstå "naturligt" via s.k. emergens.

Jag håller med, jag tror inte heller att vi vi kan lösa AI Alignment. LLM är redan i dag, med eller utan hidden reasonig, en för stor och komplex modell som människor inte kan analysera och kvalitetssäkra från oönkade utfall. Och värre blir det ju mer LLM utvecklas och ju mer konstigheter om LLM som forskarna med jämna mellanrum upptäcker. Är det en tillfredsställande säkerhetsnivå när det inte finns någon plan för AI Alignment medans arbetet med AI-förmåga accelererar?

Psykotiskt och magiskt tänkande i vanlig ordning. Datorer bearbetar binär ja, förstår man all llm's algoritmer nej, slutsats = A.I alignment

Man har inte ens löst steg 1 för att ens börja arbeta på en alignment och det finns hundratals steg kvar. Liksom holy shit. Det lustiga är verkligen att när människor av denna kvalité arbetar med A.I vet man 100% att fältet kommer inte gå någonstans på flera år

Komma med fakta i en tokstolle tråd? Det går väl inte för sig.

Att omvandla tokstollen är omöjligt, men kanske kan man hindra någon annan från att falla för det.