Citat:
Ursprungligen postat av
Kip.Kinkel
De nya ML modellerna måste integreras tätare med internet för att bli mer relevanta. Cut-off date september 2021 känns rätt förlegat redan. Modellen vet inte ett smack om händelser efter detta datum. Sedan lär man väl i framtiden bättre integrera vetenskapliga databaser, formelberäkning (likt Wolfram Alpha), bilder, video, med mera...
Dessa modeller "vet" i allmänhet ingenting, att tänka så kommer man ingen vart med. De har inga "fakta" eller "kunskaper" om någonting, händelser eller annat. De beräknar bara sannolikheten för att en karaktär kommer efter en annan. Det är därför "hallucinationer" är ett stort problem med LLMs, eftersom modellen bara tänker på vilka karaktärer som finns före den aktuella, och vilken karaktär som är mest sannolik att komma efter dem.
Ibland har den tur och får något som en människa skulle betrakta som ett "faktum", men det är i grunden en happy accident.
Oavsett vilket pågår det forskning om hur man uppdaterar texten som modellen tränades på, till exempel
https://arxiv.org/abs/2305.18582 och en annan nyligen gjord som jag inte kan hitta just nu.
Andra tillvägagångssätt är "agent"-arkitekturen där LLM kan nå ut för att hämta "fakta", men verkar också vara en bit bort.