Citat:
Ursprungligen postat av
guru1966
Enklare? Att programmera är bland det mest intelligenskrävande logiska problemlösning sm en människa kan göra.
Jag trodde dig inte men åtminstone gratisversionen av chatgtp klarar faktisk fortfarande inte av att räkna r i "Raspberry".
Kineser representerar ord med symboler, så även en överintelligent kines som inte kan engelska kan ha svårt att räkna antal r är raspberry. På samma sätt representerar LLM orddelar (tokens) internt med siffror så den "ser" inte de enskilda bokstäverna.
Har inte ett skit med att se symboler eller inte internt att göra. och det är också helt fel att påstå att "LLMs" jobbar så här, det är ett val man gör när man bygger vokabuläret för språkmodellen.
Varför ingen använder tokens som är exakt en bokstav/siffra osv som annars hade varit väldigt rimligt med tanke på att det är vad språket egentligen använder beror på att det rasar ihop som ett korthus väldigt snart när man man drar ner granulariteten.
Språkmodeller har ingen förståelse, det är därför de inte kan räkna bokstäver osv, de har inga som helst problem att annars "räkna" eller bryta ner ett ord till individuella bokstäver, det är faktiskt precis vad de tränas göra för dessa "räkna bokstäver i ordet", men språkmodeller kan inte räkna, de har aldrig kunnat och kommer aldrig kunna det, inte utan extern hjälp.
Precis som det inte spelar någon som helst roll hur stort du gör ett FFN så är och kommer det förbli vara oförmöget att klassificera ett tal som ett jämt eller udda tal korrekt, vilket är löjligt enkelt för en människa.