AI:s bekräftelsebias

Kaffe kanske var ett dåligt exempel? Det är ändå ganska lätt att ställa ledande frågor och lura botten att ge motsatta svar. Särskilt om det inte finns någon wikipediaartikel om just det ämnet. Och om wikipediaartikeln innehåller fel så kommer botten tvärsäkert att hävda att Wikipedia har rätt oavsett om det strider mot sunt förnuft eller ej.

Skriv bara "+Var objektiv". Man kan också skriva upprepade gånger samma prompt och se hur många gånger den skriva samma. brukar bli mer seriöst efter 2-3 prompter. Det finns också ett knep kring att den inte ska spara på bredband så knådar degen lite längre. Brukar alltid skriva på slutet

"+Objekiv +spara inte på bredband +analys"

Men ja bekräftelsebias är en grej för så många användare tror att datorn är en riktig varelse med känslor men vad ska man göra. Bra sökmotor ibland

Mmm, jajo.. går i samma tankebanor, drar mig för det av samma anledningar
Vem orkar kämpa med sånt liksom?
Skulle bliva en daglig kamp, för få till en äns hyffsad sedan? Vem vet vad som kan hända..
Så jepp, prompts är det simplaste tillsvidare iaf
Lycka till!

Du verkar inte förstå att ai fungerar på samma sätt som vi människor fungerar, bara att den har oändligt mycket mer kunskap än Einstein.

Språkmodeller gissar aldrig, de gör exakt samma sak hela tiden och det kräver varken mer eller mindre tid för en modell att svara på en svår eller en lätt fråga, modellen vet inte ens när den inte vet, hade man kunnat avgöra sådant algoritmiskt hade det här med hallucinationer (som bara är ett fint ord för att dölja att det är exakt samma skit som den gör hela tiden) varit löst sedan länge.

Det skrämmer mig att ett flertal inklusive du påstår ni jobbar med AI osv inte förstår ens grundläggande koncept inom maskininlärning.

Men om språkmodeller bygger på statistik och sannolikhet för att generera nästa token så torde väl en "gissning" inte vara långt vad som faktiskt sker? Även om det givetvis är en förenkling.

Jag tror vi alla är överens om att en AI inte går på magkänsla, dvs mänsklig intuition.

Tycker för övrigt det är bra att vi reder ut begreppen, eftersom förenklingar kan leda till missförstånd.

Det beror på din definition av gissning, men gissningar sker i så fall oavsett den vet eller inte, det är vad jag vänder mig emot.

Min definition av gissning är inte densamma för AI som för människor (intuition), utan - för egen del - ett pedagogiskt grepp för att beskriva ett AI-fenomen (statistisk sannolikhet för nästa token). Ungefär som att man kan beskriva att elektroner flyter som vatten inom elektricitet, men inom fysik beskrivs de som att de snurrar runt atomkärnan som planeter. Båda ang elektroner är vetenskapligt missvisande, men lättare för en oinvigd att förstå.

Om du vill kunna använda AI så får du nog lov att förstå vad den kan användas till, och hur. En AI är bara, bokstavligt talat, en automatiserad ordbajsare. Den har inte en aning om vad något betyder, utan vet bara att de här orden sitter ihop. Du föreslår att himlen "egentligen" är röd, och AIn vet vilka ord som ska sitta ihop för att få fram någon sorts korkad argumentation för att himlen bara ser blå ut. Men den vet ju inte ens vad färger är.

Det är ganska irrelevant vad vi tycker, poängen är att modellerna ”slumpar” tokens från top kandidaterna oberoende av ämne eller hur mycket träning de har på ett visst ämne. Dvs den har vare sig mer eller mindre urval oavsett, huruvida det stämmer med verkligheten eller inte, det råkar bara vara så att ju mer träningsdata det finns om ett ämne, ju mer sannolikt är det bara att top kandidaterna återfanns i något träningsmaterial.

Det är såklart inte några självkritiska nihilister som ChatGPT har tränat sina bottar på. 😊

I övrigt en bra fråga som jag också brottas med. Låg friktion mot användare är religion i Silicon Valley, och i allra högsta grad en del av till exempel ChatGPT:s RLHF (Reinforcement Learning from Human Feedback).

Jag använder den här prompten för att uppnå friktion i analyser och konversationer med AI:

1. Identifiera överskattade antaganden.
2. Simulera fel – formulera dina starkaste motargument.
3. Identifiera trolig bias (t.ex. antifriktion, optimism, mainstreamlogik).
4. Återformulera svaret med maximal transparens och friktionshypotes (vad saknas, vad är osäkert, vad kräver kvalificering).

Jag försöker undvika exempel i mina prompts och subjektiva instruktioner. Två vuxna miljöpartister och Sverigedemokrater kommer sannolikt ha väsensskilda konversationer. Vad är sanning för respektive?

I övrigt är AI en spegling av dess användare. Om man upplever den som en korkad ordbajsare är det 100 % en reflektion över hur man själv är som användare.

Ord som "gissar", "resonerar", "förstår", "tänker", "ljuger", "hallicunerar", "omformulerar", "sammanfattar", "översätter", "besvarar" är vanliga beskrivningar av den emergenta effekten av träningen och storskaligheten, inte beskrivningar av hur LLM:ets algoritmer faktiskt ser ut på detaljnivå. Skilj på hög- och lågnivåbeskrivning. På låg nivå är ett LLM bara en stokastisk prediktor av nästa ord, ett ord i taget.

Antag att den bara har tränats med frågor och svar om alla möjliga ämnen. Om jag ställer en liknande fråga som fanns i träningsmaterialet, så blir effekten att den svarar nära det svar den har tränats med. Inte identiskt, utan den kan skriva om med helt andra ord för att ändra språk, stil, längd, undvika upprepningar, mm. Svarsmeningen blir näraliggande i betydelse av det intränade svaret därför att dess "embedding" ligger nära det intränade svarets "embedding" i vektorrummet. (Hoppas jag uttrycker mig korrekt nu.)

Om jag ställer en fråga som istället inte alls fanns med i träningsmaterialet, så kommer svaret att vara påverkat av flera olika meningar i träningsmaterialet. Effekten är att svaret utgör en kombination av flera påståenden. Jag tänker att i vektorrummet ligger svaret mitt emellan några svar på liknande frågor. Svaret är en generalisering. Man kan diskutera om det är en interpolering (eftersom det ligger mitt emellan i vektorrummet) eller en extrapolering.

När jag säger "gissar" menar jag alltså att den ger ett svar på en fråga som i vektorrummet ligger långt ifrån någon av de frågor som fanns i träningsmaterialet. Vad bör jag använda för ord istället? Är "kombinerar", "generaliserar", "interpolerar" eller "extrapolerar" bättre?

Precis som du säger kan LLM:et inte avgöra om svaret i detta fall är sant eller falskt. Eftersom det inte är en databas som har kvar de exakta påståendena i träningsmaterialet så kan den inte jämföra sitt svar med de intränade svaren, och räkna ut hur mycket dess svar skiljer sig från de intränade svaren på liknande frågor. Moderna LLM kan dock använda RAG för att i efterhand söka en webbsida som pratar om samma sak, och uppge den som "källa", men det är inte dess källa, och ibland kan webbsidan säga något annat än LLM:et sa. RAG-sökresultatet kan ibland även påverka svaret, men trots det ljuger den fortfarande ibland. T.ex. om man frågar om något som inte finns sökbart på nätet. Då säger jag att den gissar.