Citat:
Om man håller sig till TS fråga, nämligen...vad kan en AI veta om världen om den mest får världen serverad som text, bilder, filmer och databaser?
"Det är autocomplete" är inte fel, men det är också ett lite slarvigt och för enkelt svar. Det är lite som att säga att människan bara är kemi. Och? Det är inget ordentligt svar på frågan. Geoff Hinton har varit inne på just detta. Om ett system ska kunna hantera språk på hög nivå, och bevisligen klarar av att dra slutsatser och generalisera, då har det sannolikt byggt någon sorts intern modell av världen. Annars funkar det inte. Så nästa ord, autocomplete, är inte riktigt den dräpande invändning vissa verkar tro.
Men Yann LeCun ligger närmare TS poäng eftersom han länge har sagt att dagens språkmodeller saknar djupare förståelse och behöver world models. Alltså inte bara koll på hur folk skriver om världen, utan någon ytterligare modell av hur världen faktiskt beter sig. En kattunge som far runt i ett rum lär sig saker om tyngd, avstånd, ytor och kropp som ingen språkmodell får bara genom att läsa miljoner texter om olika saker.
"Det är autocomplete" är inte fel, men det är också ett lite slarvigt och för enkelt svar. Det är lite som att säga att människan bara är kemi. Och? Det är inget ordentligt svar på frågan. Geoff Hinton har varit inne på just detta. Om ett system ska kunna hantera språk på hög nivå, och bevisligen klarar av att dra slutsatser och generalisera, då har det sannolikt byggt någon sorts intern modell av världen. Annars funkar det inte. Så nästa ord, autocomplete, är inte riktigt den dräpande invändning vissa verkar tro.
Men Yann LeCun ligger närmare TS poäng eftersom han länge har sagt att dagens språkmodeller saknar djupare förståelse och behöver world models. Alltså inte bara koll på hur folk skriver om världen, utan någon ytterligare modell av hur världen faktiskt beter sig. En kattunge som far runt i ett rum lär sig saker om tyngd, avstånd, ytor och kropp som ingen språkmodell får bara genom att läsa miljoner texter om olika saker.
Ja, och en AI kan också tränas genom att styra en figur i något som liknar ett sorts spel med kanske simulerad fysisk, där den kan lära sig saker den kan ha nytta om den styr en robot.
Jag har för mig att bottar tränades i en sorts simulation att spela någon sorts enkel fotboll, och sen fick styra robotar som spelade mot varandra. Om jag nu minns videon rätt...
Och intressant nog, kan människor ju också lära sig eller bli bättre på att göra saker genom att träna i en simulator. Ett gammalt exempel jag tyckte var coolt, var att först lära sig flyga radiostyrd helikopter med en riktig fjärrkontroll kopplad till en simulation som liknar ett spel.
Sen fanns detta med ett pingis-spel för VR där jag läste om personer som spelat det och tränat enligt utsago, blivit bättre på pingis IRL.
Så även människor kan bli bättre på att träna i simulatorer, och en bots "förståelse" av eller åtminstone möjligt att styra saker IRL kan förbättras genom detta.
Citat:
Så liknelsen med Platon grotta är en ganska bra bild...inte perfekt, men användbar. AIn sitter inte i en tom grotta, utan den har snarare ett enormt bibliotek, bildarkiv och videorum projicerat på väggen...vilket är imponerande...men det är fortfarande bara avbilder av verkligheten. Den har inte varit där själv, den har inte hållit i den där gamla mobilen från 2001, slagit tån i en sten, frusit på en busshållplats eller känt lukten av rök i ett trapphus.
Jepp, och det begränsar vad den kan "veta", känna till eller ens träffsäkert förklara eller beskriva...
Citat:
Och ja...om något inte finns i träningsdata, inte finns i prompten och inte går att slå upp, då vet modellen det inte. Den kan gissa, ofta snyggt och övertygande...men ibland helt fel. Det är just därför folk blir lurade, eftersom svaret kan låta som om det kommer från någon som vet, när det i själva verket bara är en självsäker chansning (på samma sätt som människor ibland medvetet eller omedvetet beter sig).
Jo, men det finns ju sådant som en kvalificerad gissning som jag gör ibland som faktiskt ofta stämmer. En bot är kanske inte super på att gissa, och bör inte göra det utan att berätta det är en gissning. Fast värre är, när bottar bara hittar på vad som helst, t.ex. vad en viss bok handlar om. Och detta även när informationen nog faktiskt finns tillgänglig på nätet eller om den t.o.m. tränats på t.ex. boken i fråga...
Citat:
Så nej, TS fråga är inte dum. Det dumma är att svara autocomplete och tro att man därmed löst hela problemet. Den rimliga positionen är snarare att dagens AI kan ha rätt avancerade interna representationer och viss förståelse, men att den ofta är dåligt grundad i verkligheten.
Detta stämmer säkert även om man kan ifrågasätta vilken nivå av verklig förståelse en bot har. Men jag har också fått reda på någonstans, att man funderar på att låta bottar lära sig mer genom att se saker genom kameror och så.
Ditt svar var bra och det enda hittills som på ett bra sätt behandlar frågeställningen i huvudinlägget.
