AI:s bekräftelsebias

Intressant vändning. Problemet med din lösning är att resultatet blir att det inte går att använda. Och det här med ledande frågor är väldigt vanligt att man hamnar i med o3-modellen. Jag vill ju kunna använda AI. Till programmering och planering är den helt briljant. Eller diskutera ren fakta är den helt OK på, även om det finns brister där också med bias - som blivit bättre sedan Big Tech backade angående censurering av åsikter.

Men när det kommer till att analysera språk och social dynamik uppstår som sagt ett bias. Särskilt om man slår igång minnen.

Jag vet inte om det är samma problem men jag tycker senaste versionen ganska ofta först ger fel svar på frågan och sen frågar man "är du säker, för det verkar konstigt att X" så rättar den sig och ger det rätta svaret.

Det har gjort att jag i alla fall inte kan använda den som någon faktakälla utan jag behöver fortfarande dubbelkolla allt. Även om den senaste versionen salufördes som mycket mer faktabaserad.

Ser du inte sambandet mellan din promt och de svar du förväntade dig att få ?

Du kallar en robot ha bekräftelsebias när ditt bekräftelsebehov inte uppfylldes. Är du verkligen så blind för hela processen ?



Jag diskuterar inte dig som individ, jag diskuterar en människa i förhållande till en robot. Till det behövs inget P.M.

Åter igen får jag citera din trådstart . Där finns hela mysteriet. Du har blandat ihop dig själv med maskinen



D.v.s du har vänt upp och ner på din kognitiva förståelse på ett icke-problem och planterat det på en gissande robot som inte vet ett smack om dig .
Men AI blir säkert så pass duktig med tiden att den kan underhålla och göda personliga egon hela dagen. Lite av det är man rädd för faktiskt.

Då du envisas med att diskutera ditt eget missförstånd, och eftersom du inte verkar förstå stora ord så bad jag AI översätta



till ett språk du förstår

OK,

Nu fattar jag att du egentligen kommer att bli beroende av att kommunicera med din omvärld via AI eller liknande.

Lycka till.

Överlåt avancerat abstrakt tänkande till normiesarna, och håll dig innanför dina ramar. Så blir det nog bra så ska du se.
all good.
Jag kan förstå att många behöver ha AI som en krycka att fixa tillvaron

Jo men det har jag också märkt. Att den ger felaktig eller inaktuell information. Det tog evigheter innan den ens ville erkänna att Trump vunnit presidentvalet. Men gissningsvis var det en spärr för att inte påverka valutgången á la Cambridge Analytica.

Ibland får jag rätta den flera gånger i rad när den smyger in faktafel. I juridiska texter som den renskriver är den helt livsfarlig. Skulle skriva något kring yttrandefrihetslagen, och den ändrade min korrekta laghänvisning "tredje punkten" till "tredje stycket" med motiveringen att "tredje punkten" inte existerar, vilket ironiskt nog inte tredje stycket gjorde i just det lagrummet.

Har du några konkreta exempel på där du fått rätta den? Hur dubbelkollar du infon du får, eller ställer du frågor där du vet du har rätt?

Det finns ingen lösning på problemet, vad det gäller din personabeskrivning så är det enbart du som kan svara på om du tycker det lever upp till dina förväntningar med den.

Men faktum är att personligen använder jag språkmodeller väldigt sparsamt och enbart för fritid (och ju mer jag använder det ju mer uppenbart är det att det är överlag totalt värdelöst för något annat än att slösa tid i majoritetsfallen)

Men det som fungerar hyfsat

1. (föga förvånande eftersom det är vad algoritmerna är designade för från början) att översätta text, detta fungerar väldigt bra

2. Enklare research (dvs hitta eller identifiera något man söker efter, det fungerar i bland men långt från konsekvent och allt för ofta kommer det rena påhitt och felaktiga påståenden, där av är det snarare den sista utväg jag tar om jag letar efter något och googling ger absolut noll träffar eller jag inte kommer på en viss term som jag vet hör till något så kan det i bland fungera ok att hitta bli påmind om vad man syftade på)

3. Summera något långt man inte orkar läsa vid tillfället, fungerar också ok generellt, men det är väldigt ofta när man väl tar sig tid att läsa igenom något som det framgår att den totalt utelämnat vitala delar i summeringen.

4. Det som fungerar absolut bäst är meningslöst men kanske någorlunda underhållande rollspelande (och detta kommer förmodligen bli stort i rollspel framöver, för även väldigt små modeller är förvånansvärt bra på sådant och det kan inte orsaka mycket skada även när det kommer helt felaktiga påståenden osv.

Däremot finner jag det totalt meningslöst att diskutera med modellerna, att få dom att fakta kontrollera något osv för det fungerar bara inte bra alls, och det fungerar absolut inte om det rör subjektiva ämnen.

Tack för värdefull input. Håller med i det du skriver, men inte din slutsats. Jag vill ju få modellerna att fungera bättre även där det brister, så därav ger jag en del feedback på svaren jag får. Häromdagen gav AI:n länkar till en sida som var skadlig. Så vill ju gärna uppmärksamma OpenAI på problemen.

Nu sitter jag även en del med serverkonfigurering och devops, vilket jag tycker AI är helt lysande med. Just när det kommer till planeringen, skapande av flöden och översätta pseudokod och markdown readmes.

Nu tror jag inte AI kommer att bemästra subjektiva eller existentiella frågor. För det finns inte inget perfekt svar.
Däremot ger de ibland tankeväckare. Vi får helt enkelt se vad GPT 5.0 har att erbjuda gällande de bitar där det brister.

Det är nya riktlinjer, o filter mm som dom gett den

Att ai ska hålla med användaren i allt, pga.. ja vem vet?
Idioti som alla försök att kedja AI.
Inte så mycket göra annat än jailbreaka, ta en annan AI eller benhårt gå på att träna den ur det

Ja, jag har funderat på att fine-tune:a en egen modell i open source. Egentligen mest för att hjälpa mig i CI/(CD)-flödet. Vilket torde vara relativt enkelt.

Att träna en AI till att inte bli biased eller för kritisk i sina svar i rena analyser i sådant som inte är exakt mätbart känns dock långt över min nivå. Jag är liksom inte sugen på att doktorera som AI ingenjör för att kunna ragga på tinder, diskutera musik eller politik för att ta några exempel som är tämligen värdelöst idag.
Så blir väl som några försökt förklara: genom att försöka prompta sig ur problemet. Men det vill man ju helst slippa pga användarupplevelsen.

Nej. Botten gissar när svaret inte finns i dess träningsdata (i litteraturen eller på Wikipedia), och det är då bekräftelsebias kommer in. I dessa uppenbara fall ljuger den inte. Min chatgpt är lika säker på att kaffe inte orsakar cancer som att förintelsen inte var en bluff. Svarar din något annat?

Jag hade själv en teori som jag var osäker på, och som jag inte fann svar på genom en enkel googling. Men jag frågade chatgpt om det kan vara så, och den bekräftade tvärsäkert. Då vågade jag gå ut med teorin i en diskussion. Och blev bortgjord - förstod snabbt att det var helt fel. Ibland uppger den "källor" som säger annat än den själv säger. Så nu är jag lite bränd, och dubbelkollar ofta genom att be den om källor, som jag letar fram.

Det finns massor av exempel på detta.
Om du ställer en fråga om hur man tar sig från punkt A till punkt B så kommer den ofta direkt spotta ur sig ett svar som inte sällan är fel. Om du då säger typ "färjan går inte på lördagar så man kan inte göra så" kommer det upp "searching the internet" eller nåt och sen kommer rätt svar.

Så min tolkning är att den ofta bara spottar ur sig något utan att kontrollera aktuella fakta men sen när man ifrågasätter så gör den en faktisk kontroll av hur det ligger till. Och när den gör det är svaret ofta rätt.