OpenAI:s ChatGPT - chattbot

GPT-4 är helt klart värt att betala för jämfört med GPT-3.5-turbo, särskilt om du arbetar mycket med mer komplexa saker. Att lägga till saker som "think out loud", "explain your reasoning" och liknande till din prompt är mycket bättre följt av GPT-4 också och hjälper till mycket.

Dessa modeller "vet" i allmänhet ingenting, att tänka så kommer man ingen vart med. De har inga "fakta" eller "kunskaper" om någonting, händelser eller annat. De beräknar bara sannolikheten för att en karaktär kommer efter en annan. Det är därför "hallucinationer" är ett stort problem med LLMs, eftersom modellen bara tänker på vilka karaktärer som finns före den aktuella, och vilken karaktär som är mest sannolik att komma efter dem.

Ibland har den tur och får något som en människa skulle betrakta som ett "faktum", men det är i grunden en happy accident.

Oavsett vilket pågår det forskning om hur man uppdaterar texten som modellen tränades på, till exempel https://arxiv.org/abs/2305.18582 och en annan nyligen gjord som jag inte kan hitta just nu.

Andra tillvägagångssätt är "agent"-arkitekturen där LLM kan nå ut för att hämta "fakta", men verkar också vara en bit bort.

Det du pratar om har betalvarianten av GPT. Wolfram Alpha, internetsök osv

Tack, intressant!

En fråga från en novis, hur lägger man till saker som "think out loud", "explain your reasoning"?

Skriver man det som tillägg när man ber chatgpt förklara något?

I'm using pytorch to generate a small model based on a small dataset for text generation with a LLM architecture.

I think my loss value is still a bit high after running 5000 steps, so I want to adjust my hyperparameters to optimize it. I don't think the issue is because of over-fitting, as the text generated by the model isn't repetitive.

Think out loud and reason about why the loss value doesn't decrease more, and explain your reasoning.

Provide a step-by-step analysis of the most important hyperparameters for my case, and suggest a new specific value for each hyperparameter.

Vad "veta" egentligen är, det är en definitionsfråga. Även människan gör ständigt sannolikhetskalkyler medvetet och undermedvetet. Däremot har AI inget egentligt medvetande, eller endast en ytterst rudimentär form av medvetande på insektsnivå.

Bästa... Jag började använda detta förra året när det var nytt. Såklart att jag kollar källor också, men ett grymt bra verktyg för att inte göra det allt för komplicerat

Ja, när det flyter på så är ChatGPT-4 suverän, inte minst på att sammanfatta och förklara komplexa saker. Men, ibland, så flyter det inte på. I går, efter ett tag, så inträffade det "tekniska fel" så boten kunde inte längre använda voxscript för att läsa, översätta, sammanfatta, förklara och kommentera ett videomanus. Då började, dels ta om grejer och dels hallucinera. Det var dock lätt genomskådat. Sedan bad den mig om hjälp genom att jag skulle skriva en nyckel-mening ifrån videomanus. Det fungerade inte heller, så vi var tvungna att ge upp. Men ingen ide att bli sur på ett dator program. Idag så fungerar det kanske lika bra som när vi körde igenom Volfams utmärka föreläsning på MIT!🙂

Just igår hade de problem med plugins in ChatGPT, kanske var därför

https://status.openai.com/incidents/gv4j4nmz0ry9

Trevlig tanke men nej, människor tänker inte karaktär per karaktär. Vi tänker vad vi vill säga, sen skapar vi hela meningar och ord och säger/skriver dem, vilket är helt annorlunda en vad en LLM gör. Inget medvetande what so ever involverat i en LLM.

En av de tyngsta namnen inom AI (och där utom turing award vinnare, silver professor på NYU och chefsingenjör på Metas AI avdelning) dömmer ut nuvarande LLM teknik (Autoregressive LLM, som chatgpt osv) som "doomed", det går inte fixa begränsningarna i tekniken.

Ytterligare ett tecken på att det inte kommer ske någon "exponentiell utveckling" med GPT-4,5 osv.

https://www.youtube.com/watch?v=vyqXLJsmsrk

Japp, jag sett början av videon och han räknar upp en mängd begränsningar hos LLM. För övrigt motdebbatör till Max Tegmark i en debatt där frågan löd "utgör AI ett existentiellt hot emot människan".