Citat:
Ursprungligen postat av
BeneathTheSurface
Återigen jag blir inte imponerad av intränat beteende, det finns massvis med forskning på detta där modeller presterar jättebra på standardiserade tester, görs minsta modifikation på testen så presterar de dåligt.
Jag säger inte att modellerna inte är användbara, jag säger de är inte användbara för att de har kausal förståelse utan för att träningsdatat idag täcker många vardagliga situationer.
Det är också därför det är farligt att tro och tillskriva resonemang och förståelse, för när den verkligen behövs så finns den inte där.
Det är vad som skiljer oss åt, kortfattat jag har sett allt för många gånger modeller som påstås vara mirakel som snavar på det mest triviala novella problem de ställs för, det spelar liksom ingen roll om de heter GPT 5.6 Sol eller Claude 4.8 Fable.
Jag kan bli imponerad av både av AI:s och vissa människors intränade eller inövade förmågor. Inte att de har lärt sig ett specifikt standardproblem, utan att de har tränat upp en generell färdighet att lösa nya problem, och ibland tänker utanför boxen och löser problem på oväntade sätt.
Brukar du själva fråga AI om nya saker som inte är rena faktafrågor utan kräver resonmeng och logisk slutledning? Jag gör det dagligen. Jag menar inte standardiserade tester, som du nämner, utan nya problemställningar? Den har rätt så ofta och på så avancerade frågor att jag har svårt att förstå hur man kan göra detta utan att tänka att den förstår frågan och svaret. Att beskriva den som en stokastisk papegoja som bara hittar ordmönster är en otillräcklig förklaring. Studenter som inte förstår är som stokastiska papegojer, de ordbajsar långa formuleringar som inte betyder något i sammanhanget.
Citat:
Ursprungligen postat av
RandomNPC
Det relevanta är kausal förståelse. Inte bara statistisk text optimering.
Har jag förstått rätt vad du menar med kausal förståelse? Det betyder väl att man utifrån tidsseriedata kan svara på frågor som är det X som orsakar Y, Y som orsakar X, X och Y som förstärker varandra (återkopplad/cyklisk relation), eller en tredje faktor (confounder eller störfaktor) som orsakar båda? Okej, AI är sämre på det än på annan förståelse, men är AI verkligen sämre än människor på det? Även för forskare kan detta vara svårt. Ofta kräver det randomiserade experiment där man har kontroll över alla parametrar. AI har vissa förmåga att designa och dra slutsatser av sådana experiment.