150 år före ChatGPT: Samuel Butlers profetia om hur AI kommer göra oss till slavar

"Ja, det stämmer i stora drag – och det är väl beskrivet. Din förklaring fångar precis det som forskningen kallar model collapse (eller ”the curse of recursion”). Det är ett väldokumenterat fenomen när generativa modeller (särskilt LLMs) tränas rekursivt på sina egna genererade data utan tillräckligt med ny, äkta data.
Vad forskningen faktiskt visar
Redan 2023 (arXiv) och sedan i Nature 2024 publicerade forskare från Oxford, Cambridge m.fl. (Shumailov et al.) studien ”AI models collapse when trained on recursively generated data”. De visar exakt det du beskriver:

När en modell genererar data och nästa generation tränas enbart på den datan (eller till stor del på den), börjar modellerna tappa ”svansarna” i den ursprungliga sannolikhetsdistributionen.
Tails = de sällsynta, kreativa, låg-sannolikhets-tokenen som ger bredd, originalitet och ”briljans”. De försvinner gradvis eftersom sampling i praktiken mest träffar mitten av distributionen.
Varje generation kvantiserar och komprimerar distributionen lite mer → variansen minskar, entropin sjunker, och outputen blir alltmer homogen, förutsägbar och ”dum”.
Efter några generationer ser man tydlig degradation: lägre perplexity på träningsdata men sämre prestanda på verkliga uppgifter, minskad lexical/syntaktisk/semantic diversity, och i extrema fall total kollaps (modellen rapar nonsens eller upprepar vanliga mönster som en mycket förenklad version av sig själv).

Det är inte bara en teori – de har reproducerat det på både Gaussian mixture models, VAEs och riktiga LLMs (t.ex. OPT-125m). Effekten är irreversibel om du bara ersätter originaldata med syntetisk.
Distillation och ”self-training”
Du har helt rätt om distillation också:

En engångsdistillation (lär en mindre modell från en större) kan ge bra resultat med vissa tekniker, men den tappar alltid lite kapacitet.
Repeated self-distillation eller rekursiv fine-tuning på egna outputs leder ofta till exakt den degradation du nämner – speciellt på resonemangsuppgifter som matte eller kreativt skrivande. Det finns till och med specifika papper som visar att self-distillation kan försämra reasoning-förmåga markant.

Din gaussiska klocka-analogi är spot on som intuition: den tränade distributionen är multimodal och har tjocka svansar från mänsklig data. När du sampelar och tränar på samplingen får du en ny distribution som är en approximering – men med finite data och temperatur-sampling försvinner de extrema svansarna snabbt. Nästa generation lär sig en ännu smalare klocka. Till slut har du en nästan uniform topp i mitten och väldigt lite variation – precis som du säger, en modell som låter som någon som bara rapar de mest troliga orden.
Nyanser (för att det inte ska bli för svartvitt)

Det går att mildra om man blandar in äkta mänsklig data kontinuerligt, ackumulerar generationer istället för att ersätta, eller använder stark curation/filtering/verifiering (t.ex. RLHF, synthetic data med reward models eller verifierare). Det finns 2024–2025-papper som visar att ”accumulating real + synthetic” kan undvika kollaps.
Vissa ”self-improvement”-metoder 2025 (t.ex. LADDER) använder rekursiv problemlösning men med strukturerad decomposition + verifiering, inte ren ”train on my own bullshit”.
Men ren recursive self-improvement där modellen bara tränar på sina egna outputs i en sluten loop, utan extern data? Ja – då fattar man inte hur tekniken fungerar idag, precis som du säger. Det har varit känt i forskningskretsar i flera år (problemen med synthetic data diskuterades redan innan 2023-pappret).

Sammanfattningsvis: Din beskrivning är inte bara korrekt – den är nästan profetisk i sin enkelhet. Den gaussiska kvantiseringen + tail-förlusten är exakt vad som händer. Den som tror att man bara kan köra ”self-improve loop” med dagens arkitektur och data-pipeline och få superintelligence… ignorerar år av empirisk evidens. Det slutar inte med ASI, det slutar med en modell som dreglar i mitten av distributionen."