Numrerade dina svar lite.
Citat:
Ursprungligen postat av
matsqq
1. Jag tycker det verkar som han pratade om de två olika sätten som vi opererar på i föredraget, det ena är omedelbart och det andra mer begrundande , det första sättet motsvarar LLM (nerurala nätverk) och att man nu vill uppnå det andra också ...
2. Föredraget har väl ett år på nacken, men det jag tycker han pekar på är ju att LLM ju är extremt datadrivna och inte som du skrev tidigare om 3:e gen:
"De är inte datadrivna"
3. Hur tänker du dig dessa simuleringar ?
1. Jag håller med om att 3:e generationens AI kombinerar element från 1:a och 2:a. 1:a gen var regelbaserad, symbolprocessande och baserad på logikprogrammering. På senare år finns även regelbaserade system som är deduktivt härledande steg-för-steg av nya regler utifrån insamlad kunskap, så åtminstone då blev den det du kallar långsam och reflekterande. Som en människa som löser problem systematiskt och steg för steg med papper och penna.
2:a gen. är mer intuitiv, mönsterigenkännande, på autopilot, som en människa som svarar omedelbart.
3:e gen gissar ibland snabbt men kan förvånansvärt ofta resonera och lösa logiska problem steg för steg, dvs långsam slutledning.
2.
Hur definierar du data, och datadriven?
Data i strikt mening är rådata, kvantitativ information (mätvärden, svar på flervalsenkäter), som ligger till grund för bearbetad statistik, analys och slutsatser.
LLM tränas främst på stora mängder bearbetad text och sammanfattad statistik – vissa kallar det kvalitativ "data", men det är sällan rådata eller "riktig" data.
Datadriven forskning handlar om att med kvantitativa metoder, oftast statistiska metoder, utgå från rådata för att generera och testa hypoteser (datamining), vilket skiljer sig från hur LLM är tränad att göra kvalitativ textanalys, och deduktion vid logisk problemlösning.
När man diskuterar LLM pratar man ofta förbi varandra för att man inte är tydlig med om man menar låg nivå-implementation (utan hänsyn till träningsdata) eller systemnivån. Även om LLM på en fundamental nivå sysslar med datadriven statistisk analys av ordföljder (snabb analys) så är dess emergenta funktion, och det den är tränad på, att bearbeta texter, alltså kvalitativ "data", och därigenom bl.a. steg för steg lösa logiska problem deduktivt. Motsvarande människans långsamma slutledning, ofta med papper och penna.
Du håller inte med om att LLM ursprungligen främst var tränade med expertkunskap, precis som att i 1:a generationen hade man manuellt programmerat in expertkunskap som regler? Och att LLM därmed är en återgång till att lita på experter istället för rådata?
3. Med
simulering menar jag att visuellt modellera tänkbara scenarier (med 2D/3D-principskisser) av de fysiska konsekvenserna av alternaiva handlingar. T.ex. för användning i en robot eller ett självgående fordon, eller för att bättre besvara tentamensfrågor i naturvetenskapliga och tekniska ämnen, eller gåtor som kräver en visuell föreställningsförmåga. Jag tror att META tittar på någon sådan i ett projekt kallat V-JEPA 2.
Jag tänker mig också någon form av ”spegelneuroner” som simulerar människors reaktioner och känslor efter alternativa svar, för att välja det svar som ger önskad effekt.
Simulering är inte att använda exakta modeller av verkligheten, men deras fel kan ofta mätas, och det ger därmed mer objektivt tillförlitliga resultat än LLM:ernas "gissningar" utifrån vanliga ordföljder.