OpenAI:s ChatGPT - chattbot

Edit: Felaktig information.

ChatGPT 3.5 är fortfarande tillgängligt för i alla fall plus användare.

Byts inte chatGPT-4o mot chatGPT-3.5 om du kör gratisversionen och nått maxgränsen för antalet prompts?

Vet ej.

Någon som har haft problem med GPT-4o på sistone? När man kommer längre ner i konversationen börjar den att upprepa gamla instruktioner. Jag bad den hjälpa mig med specs inför Elden Ring-expansionen, och sedan börjar den plötsligt sammanfatta min karaktärs stats. När jag skrev "Ge fan i att upprepa detta nu, skriv inte något mer, ok?" så fortsatte den att upprepa stats gång på gång tills jag bytte till GPT-4 i den konversationen.

Jag är ganska ny på det här men upplever ett ganska störigt problem som ni erfarna kanske redan vet hur man ska hantera.
När jag frågar saker så känns det som att boten hellre hittar på random fakta än att svara att den inte vet svaret på frågorna.

Exempelvis frågade jag om en sångtext och boten svarade direkt med en artist och namn på sången och jag bad om hela texten vilket jag också fick.
Sen när jag försökte hitta en inspelning så visar det sig att den här artisten aldrig skrev en sång med det här namnet utan det var en annan artist som skrev den sången men texten som boten postade till mig sjungs inte i sången alls.

Dvs den tog en random artist och en random sång och parade ihop och sen hittade den på en helt egen text som innehöll orden som jag sökte med, plus massa rappakalja så det lät som en riktig sång.

Efteråt när jag frågade boten om den hade någon källa där jag kunde finna sången så svarar den
"Oj jag har gjort ett misstag, den här sången fanns inte".

Det kallas hallucinationer och är kanske det största problemet med dagens AI. Den vet absolut ingenting och förstår därför inte att den hittar på.

För att få slut på dessa ständiga påståenden om att ChatGPT osv är smartare än en människa.

Apple har forskat i detta och låtit flera modeller (GPT-4 och Gemini bland) försöka lösa riktiga "IQ tester" så som Mensas provtester.

https://arxiv.org/pdf/2403.04732

TLDR;

Sammanfattning, de är inte speciellt smarta och framförallt slående är att de inte alls förstår vad de ser.

"We observed that the current state-of-the-art VLMs still fall short of achieving human-level performance on these tasks, with the best-performing models being close-sourced. Our analysis of the models’ performance reveals that perceptual understanding may be the main bottleneck, as the models perform better when provided with appropriate textual descriptions."

Det är väl inte så konstigt och uppseendeväckande att LLM, med påbyggd visuell kapacitet presterar väsentligt mycket sämre än människor i vanliga IQ-test, gjorda för att just använda mänsklig prioritering av synsinnet och abstrakt resonemang om figurer. Jag hade, verkligen, blivit förvånad om modellerna presterat på mänsklig nivå i sådana tester. Det är rätt av dig att ta ner "AGI-hypern" till jorden, men, samtidigt, har Målstolparna flyttats vad gäller det som imponerar när det kommer till AI. Egentligen är allt som är bättre än rena slumpen imponerande för modeller, som i grunden, inte är gjorda för att lösa sådana uppgifter.

Vad pratar du om? Och det är inga målstolpar som flyttats överhuvudtaget, det handlar om AI som presterar i nivå med en människa och den finns inte- inte ens i närheten så exakt vilka målstolpar har flyttats?

Mmm det som är kruxet. Det som avgör det generella i dessa algoritmer. Dom har hyffsad linjär funktion men inte när det kommer till något speciellt krävande som att faktiskt förstå en funktion, egentligen med intelligens måste det finnas en gnutta förståelse men dessa algoritmer imiterar endast

Känns som man har verkligen stannat upp på en plats i utvecklingen, det blir inte mer spännande än så här i ett tag framöver. Man borde försöka förfina tekniken till implementation av mjukvara istället för att sälja datorer som "människor"

Vad jag menade med att målstolparna har flyttats är att det som anses vara imponerande AI-prestationer har förändrats över tid. För några år sedan var AI:s förmåga att överhuvudtaget generera sammanhängande text eller förstå enkla språkliga instruktioner imponerande. Idag har vi AI-modeller som kan delta i komplexa konversationer, generera kreativa texter, och till och med hjälpa till med kodning och medicinsk diagnostik.


Vad jag tänk svara dig är följande:

:Jag syftade på att Målstolparna flyttats vad gäller vilka AI-prestationer som sågs/ses som imponerande för några år sedan jämfört med i dag. Det är välkänt att LLM har stora brister vad gäller avancerade resonemang liksom stora brister när det kommer till matematik. Då är det ju inte överraskande att modellerna presterar dåligt på visuella IQ test, gjorda för mänsklig användning. Speciellt som den visuella förmågan bara lagts ovanpå rena språkmodeller. Men detta, i sig, att modellerna presterar dåligt på mänskliga IQ-tester, är i sig, inget bevis på att de inte kan förbättras. Men för AGI nivå krävs det nog mera grundläggande förbättringar. Där är nog jag och du överens.

Målstolpar:

[ x ] Turing-test
[ x ] Verbalt IQ-test, 155 poäng
[ - ] Mensas IQ test* inkl visuella delar
[ - ] Nobelpriset i fysik

*) För att bli medlem i Mensa krävs en IQ på > 130 poäng, 98:e percentilen