AI:s bekräftelsebias

Jag använder främst ChatGPT. Men felet är inte isolerat till dem, men mest problematisk.

ChatGPT 4o har en tendens att skriva exakt det jag vill höra. Vilket är motsatsen till vad jag egentligen vill.

Till exempel så frågade jag AI:n
"Jag skrev 'du är en höna'. Är jag rolig?"

Och AI:n svarar med en lång förklaring om att jag är briljant komiker. Vid fråga om jämförelser med olika komiker så slog jag till och med världens bästa. Jag skulle till och med fungera på standup.

ChatGPT modellen o3 är ju ett sätt att slippa det. Men för mig är det som att skriva med en gammal käring man varit gift med i 40 år och som inte orkat ta ut skilsmässa de senaste 20 åren. Den är så kritisk så att när man ställer följdfrågor så säger AIn tillslut emot sig själv. Vilket motverkar hela syftet med att ens fråga AI, för helt plötsligt är allting fel.

Diskussionsunderlag
- Hur kommer man runt bekräftelsebias?
- Finns det modeller som är mer balanserade i sina svar? Länka gärna till huggingface repo så man kan kompilera sin egen.
- Har ni märkt skillnader i färdigkompilerade modeller såsom ChatGPT, Grok och Gemini m.fl. ?

Det finns endast ett sätt att komma runt detta bias du talar om. Det kallas prompting. Om du använder ChatGPT vet du antagligen vad det betyder. Du måste bara skriva de 'custom instructions' som gör att den svarar på det sättet du vill.

Men kom ihåg, oavsett om du anpassar den eller ej, kommer den inte spegla verkligheten. Den förstår inte vad den säger, den kan inte resonera utan den kan endast ge sken av det. Du ska helst inte använda den för att utvärdera olika idéer, utan för själva idéskapandet. Det är upp till dig att utvärdera och analysera.

Du menar personalization?

Här har du min:
(FB) OpenAI:s ChatGPT - chattbot

Jo jag förstår att man inte kan lita blint på AI. Men det är en språkmodell. Så det är klart att den förstår och kan analysera språk, vilket är vad jag brukar använda den till.

Alltså,

Vad har du väntat dig , en tankeläsande AI ?

Vad vet du om en maskin som har större bekräftelsebehov än din egen ? Det är fortfarande din egen bias som maskinen bekräftar eller modulerar.

P.S. maskiner har inget eget liv , de tar inte hänsynt till, eller har något intresse av dig som person. De hittar på saker du vill höra- eller inte höra. Du tycks redan vara nere i skiten. Skaffat ett slags personlig relation till roboten

Ja du kan komma runt det genom att sätta en egen beskrivning på botten, standard beskrivningen (som i stort sett alla chatbottar har är att de ska vara en hjälpsam assistent, läs rövslickare som uppmuntrar till konversation)

Alla tjänster har ett eller annat sätt att skriva en "egen" (eller nåja du kommer inte runt de dikterade regler på detta sätt som respektive leverantör tvångsinmatar så som inga olagligheter osv).
Men problemet är detsamma oavsett, för botten har ingen egen vilja, förståelse eller agens den extrapolerar bara från det mönster du bett den vara, skriver du att "du är och agerar som greta thunberg" så kommer svaren du får följa det mönster som överrensstämmer med din begäran men det betyder så klart inte att den ger bättre eller mer "genomtänkta" svar på olika frågeställingar du ställer, däremot kan den så klart svara uppkäftigt osv om det är vad du är ute efter.

Det är en imiterande algoritm du har att göra med inte en tänkande entitet, komedi kommer du aldrig lyckas få dessa modeller att förstå, precis som det är totalt meningslöst att få dom bedöma om något är bra eller dåligt osv i olika hänseenden, den förmågan finns inte men däremot kan modellerna ge svar som är väldigt naturliga och rimliga på dina kommentarer.

Nu vet jag inte om du förstår skillnaden mellan bekräftelsebehov och bekräftelsebias. Jag har inget bekräftelsebehov i den bemärkelsen. Snarare tvärtom. Jag vill inte höra saker för att slippa bli sårad. Jag gillar brutal ärlighet, även när det går emot mina egna åsikter. AIn skriver det den tror att jag vill höra för att inte såra mig. Hade den skrivit "Det exemplet du gav saknar punchline och uppbyggnad för att vara ett skämt. Alltså är per definition inte roligt", så hade jag uppskattat det. Det verkar inte AI-utvecklarna ha fattat.

Nej, det är du som inte klarar av att skilja på två enkla begrepp och sedan skriver en halv bok om det.

Jag kikade på din prompt och jag tyckte den var onödigt jobbig. Är det verkligen vad du vill?

Respond as if we are discussing as two intelligent adults. No unnecessary words and no political correctness allowed. Truth must be prioritized over everything else, e.g. political correctness, being kind, being fair and whatever else. Always truth first. Also be brief and don't muck around with unnecessary explanations, tangents or discussions to muddy things up.

Utgå från vad ditt problem är. Utifrån vad du har sagt hittills är det att den jämnt och ständigt bekräftar dina idéer. Om du vill att den ska sluta med det kan du skriva någonting i stil med:

Be honest, not agreeable. I'm not looking for emotional validation, stick to the objective truth. Act as an intellectual sparring partner.

Du behöver inte riktigt gå lika hardcore som tidigare, man vill ju ändå ha en trevlig stund och inte få snorkiga svar. Som sagt, bara be om vad du faktiskt inte gillar.

En annan grej: det är så lätt att tro att ChatGPT är riktigt smart, eller att den faktiskt förstår. Men den förstår inte ett dugg, den är återigen bara väldigt bra på att låtsas. Om den säger att din idé är skit eller inte, så kanske den har helt fel. Folk måste sluta använda ChatGPT som en kompis, rådgivare osv.

Nej den skriver inte vad den "tror" den vill du ska höra, den skriver vad som är statistiskt sannolikt att följa det du skrev, de flesta människor är konflikträdda och eller har bekräftelsebehov själva, de vill vara hjälpsamma.

Det är precis anledningen till att du får svar på ett forum som detta även om språkbruket måste hållas på en nivå som en imbecill förstår.

AI utvecklarna har inte mycket med beteendet på botten att göra annat än de riktlinjer de satt i grundprompten, det finns en anledning till att nästan alla språkmodeller ger ifrån sig liknande konversationer oavsett det är Gemini, ChatGPT, Claude osv... de är alla tränade på data som är insamlad och skrapad från nätet.

Däremot så är det tydligt att under RLHF steget (dvs när man grundtränat modellen och börjar generera olika svar) så uppmuntras/betygsätts långa svar överlag högre, det är därför chatbottar har en tendens att vara så fruktansvärt "pratiga"... sen går det så klart spekulera i anledning till detta men gissningsvis är det för de som RLHF tränar brukar vara inhyrd arbetskraft (tex ett gäng indier som man betalar piss för att klicka A eller B på ett antal formulär) kanske inte nödvändigtvis lägger enormt mycket tid på att analysera exakt vad som skrivs utan man skumläser och tycker det ser imponerande ut med något långt stycke snarare än något kort.
Men det kan så klart också vara så att detta uppmuntras eftersom de allra flesta chatbottar kostar per token de genererar, dvs långa svar = mer inkomst.

Tack för insiktsfullt svar. Det du beskriver bekräftar ändå att det finns en inbyggd bias med AI. Alltså skriver AI "Det den tror jag vill höra", vilket givetvis är en metafor för det tekniska du beskriver.

Du har i alla fall lyckats beskriva problemet. Har du någon lösning på det?

Edit:
Såg ditt inlägg här: (FB) AI:s bekräftelsebias

Vad tycker du om min personalization?
(FB) AI:s bekräftelsebias

Varför starta en tråd om ett AI:s olika bekräftelsebias , där du rapporterar om ett svar som du kraftig kritiserar , om inte du har ett bekräftelsebehov .




[/quote]

Vad spelar det för roll vad DU vill, om det inte är ett behov av ett kognitivt bekräftande ? Du har liksom startat från fel ända. Du har frågat en robot om något den inte är tränat på - Ditt egoistiska bekräftelsebehov. Enklare än så kan man inte förklara det

Jag hoppas du inser att det är lite självtortyr att försvara en ståndpunkt för att man gjorde en semantisk feltolkning och sedan vägrar stå för det - i kontexten av ett diskussionsforum där alla kan läsa vad du skrev inledningsvis.

Om du vill diskutera mig och mina påstådda bekräftelsebehov så får du skicka ett PM. Sen om du får ett svar återstår att se. Jag antar det beror på mitt behov av bekräftelse som jag ens kommer unna dig den tiden.

Ställ ledande frågor som motsäger varandra. Svarar botten jakande i bägge fallen vet du att den bullshittar.

Visst är det så att kaffe orsakar cancer? "Du har helt rätt, ledande forskning visar att kaffe är cancerogent ..."

Visst är det så att kaffe förebygger cancer? "Precis! Kaffe innehåller substanser som motverkar cancer ..."

Det är bara vissa påståenden som "Förintelsen var en bluff" som du inte kan få den att hålla med om.