Citat:
Ursprungligen postat av
ziggehej
Begreppet "Föräldrar" brukar associeras till bilogiska generationer. När en AI tar fram ny kod, vilket den kan, och den nya koden motsvarar en förbättring av den uppgift den utför när den tar fram ny kod, då sker motsvarande generationsskifte utan att biologi är inblandat.
Jag ser ingen som helst koppling till evolution här. Vilket är genom som muterats?
Du får konkretisera detta.
Förklara istället hur en språkmodell kan bli bättre än data den tränas på.
Eller använd hellre mitt exempel med kvadratrötter. Det är fundamentalt likvärdigt men konceptuellt enklare.
Citat:
Ursprungligen postat av
ziggehej
Är du säker på att "ett NN inte är bättre än träningsdata" i detta avseende?
Ja. Hur tänker du att ett NN som tränas på kvadratrötter skulle kunna bli bättre än träningsdatat?
Citat:
Ursprungligen postat av
ziggehej
Ta ett så gammalt exempel som schack-AI som matas med reglerna plus några exempel (en extremt liten mängd träningsdata) på schackpartier, som utan att öva mot någon människa på kort tid blir överlägset bättre på schack än den bästa människan.
Ja, språkmodellerna klarar inte ens av att följa reglerna. Och spelar som nybörjare.
Vilket är väntat och begripligt. De är tränade med schackpartier och när de skall spela så innehåller vikterna ett slags genomsnitt av vad den tränats på. Och kommer generera något ur detta. Vilket innebär att desto längre partiet går desto större sannolikhet att det som kommer ut är ett ogiltigt drag som kommer från ett parti med en annan tidigare drag sekvens.
Vikterna som innehåller reglerna som den tränats på, blir inte aktiverat här för de är inte efterfrågade.
En språkmodell har ingen förståelse. Den rapar upp vad den är tränad på.
En enkel konceptuell tankemodell är att du ser språkmodeller som en stor databas med vad den är tränad på. Och så kan du ställa frågor till databasen med naturligt språk.
Om folk tänkt så på språkmodeller skulle vi slippa ganska mycket fantasifulla missförstånd.
Citat:
Ursprungligen postat av
ziggehej
AlphaZero är ett verktyg framtaget med reinforcement learning. Inte en språkmodell. De är helt väsensskilda och tränas på helt olika sätt.
Träning med reinforcement learning kan generera nya metoder. Men detta har inget med språkmodellerna att göra.