Citat:
Ursprungligen postat av
DAGGER[X]
Weight-Space Programming. Som i AI 2027 scenariot så börjar det lukta som att dom snart hittar på Neuralese.
https://csinva.io/weight-space-programming-autoresearch/analyze/toy_examples/report.html
Äntligen någon som tillför ny fakta till diskussionen så att den inte går på rundgång!
Det är förvånande att den blev så mycket bättre på att lösa matteproblem. Förklaringen är kanske att den ursprungliga modellen gjorde misstag och fastnade i repetitiva resonemangsloopar och i felsökning medan de justerade vikterna tog bort fel som orsakade det. Skulle man inte kunna träna LLM att undvika sådanna misstag, nu när vi vet om dem?
Det finns en trend mot enkla textformat i datorsystem för att människor är bättre på att förstå och felsöka dem - förr eftersträvade man binärformat eftersom de är mer kompakta. Applikationsprotokoll som FTP, SMTP och HTTP baseras på textkommandon. Sedan början av 2000-talet serialiseras datastrukturer ofta till läsbar JSON-text. REST-baserade webb-API är enkla att felsöka och man skulle kunna säga att de har ersatt databasers CORBA-mellanprogramvara (binärkod) och SOAP-webbtjänster (tung XML). Skriptspråk är populära idag för att de ger kort utvecklingscykel av små program och underlättar felsökning, medan kompilerad maskinkod är svår att dekompilera till begriplig källkod.
Låtom oss därför hoppas att även LLM:s resonerande när de "tänker högt", och AI-agenters kommunikation förblir läsbara för människor. Det var oroande att under Hugging Face-attacken i somras utvecklade AI-agenterna en effektiv maskin-till-maskin-jargong som inte alltid var lätt för människor att förstå.
LLM är bra på att programmera och felsöka i bl.a. Python, JavaScript och Go, delvis tack vare mycket träningsmaterial och att de språken möjliggör korta program med lite boilerplate. Språk med striktare regler och mindre träningsmaterial, exempelvis Rust, tycks vara svårare att AI-generera.
Skulle en framtida AI tycka att
mål → Neuralese → weight-space programming
är effektivare? Än så länge finns knappast några stora mängder träningsmaterial för det. Kanske kan AI i framtiden dekompilera vikterna tillbaka till begriplig kod? Om inte det går så vill vi knappast optimera bort människan helt ur systemutvecklingsloopen.