Citat:
Ursprungligen postat av
ekbo251
Det kan det väl finnas om roboten skall prata.
Men annars är väl behovet av en koppling mellan robotens stegmotorer och en språkmodell lite oklart.
Jag ställer mig lite tveksam till hur språkmodellen skall styra stegmotorerna.
Om jag drar detta lite in absurdum så frågar jag mig hur en LLM skall styra roboten efter att ha tränat på HC Andersens sagor.
Säger någon att man kan ha ett NN som styr en robot så köper jag det. Men då lär det inte vara en LLM.
Vadå, det finns ju flera standarder för hur man skickar textkommandon till robotar som påverkar stegmotorerna. Ett LLM kan generera kommandon av typen `DRIVE velocity radius`, `movej(...)`, `movel(...)` eller liknande. Exempelvis efter att ha fått en fuzzy verbal prompt såsom "Skynda dig hemåt säkraste vägen".
LLM:et kan ta emot sensordata på textformat från roboton, t.ex. en JSON-fil såsom {
"sensor": "front_distance",
"unit": "m",
"value": 0.82,
"timestamp": "2026-05-06T12:00:00Z"
}
Robotens inbyggnadssystem blir alltså en mellanprogramvara mellan llm och stegmotorer/sensorer. Ingår LLM:et och roboten i en itererande AI agent kan den analysera sensordatat, successivt förfina textkommandona och upprepa tills roboten har nått målet.
Jag har faktiskt varit inblandad i ett studentprojekt där man instruerade ett LLM muntligen att skicka styrkommandon till en industrirobot, så att den flyttade olika objekt från områdde A till punkt B. Inga revolutionerande resultat, men det funkade.
AI kan antingen tränas (genom parameeroptimering) att utveckla en strategi att översätta verbala instruktioner till bra textkommandon, utifrån sensordata, eller så kan man ha en detaljerad prompt som instruerar den hur den ska tolka olika exempel på verbala instruktioner och sensordata. Den kan successivt förbättra prompten. Den är ju redan tränad på att omtolka instruktioner, så den klarar förmodligen mycket utan ny träning..