Autoregressieve generatie

Autoregressieve generatie is hoe chatbots zoals ChatGPT schrijven: telkens een klein stukje tekst, waarbij het volgende stukje steeds wordt gekozen op basis van alles wat er al staat. Het werkt als de woordsuggesties van het toetsenbord op je telefoon, maar dan steeds opnieuw. Daarom verschijnt een antwoord woord voor woord op je scherm, en duurt een lang antwoord langer en kost het meer dan een kort.

Hoe werkt het?

Een groot taalmodel werkt met tokens: stukjes van woorden. Het transformer-paper van Vaswani e.a. (2017) vat het in één zin samen: bij elke stap is het model autoregressief en gebruikt het de eerder gegenereerde symbolen als extra invoer voor het volgende. In de praktijk:

1. Het model leest de hele prompt in één keer. Alle invoertokens zijn aan het begin bekend, dus ze kunnen parallel worden verwerkt; Pope e.a. (Google, 2022) noemen die stap prefill.
2. Het berekent voor elk token in zijn vocabulaire de kans dat dat het volgende is.
3. Het kiest er een: altijd het waarschijnlijkste token (greedy decoding), of een steekproef die wordt gestuurd door temperature of top-p.
4. Het gekozen token komt achter de tekst, en de langere reeks is de invoer voor de volgende stap.
5. Dat herhaalt zich tot het model een stoptoken geeft of de maximale lengte bereikt.

Jay Alammar laat dezelfde lus zien voor GPT-2 en wijst op de afweging: BERT is niet autoregressief en kan daardoor de context aan beide kanten van een woord gebruiken. Diffusie-taalmodellen zijn een ander alternatief: LLaDA (Nie e.a., 2025) voorspelt gemaskeerde tokens parallel en verfijnt ze, en presteerde vergelijkbaar met eigen autoregressieve basismodellen.

Waarom is het traag, en hoe versnel je het?

Elk nieuw token vraagt een volledige ronde door het model. Leviathan e.a. (Google, 2022) zeggen het zo: K tokens decoderen kost K runs van het model na elkaar. Twee technieken verlagen de kosten:

• De KV-cache bewaart de attention-keys en -values van eerdere tokens in het geheugen, zodat elke stap die alleen voor het nieuwe token hoeft te berekenen.
• Speculative decoding laat een klein, snel model een paar tokens vooruit schrijven, die het grote model daarna in één parallelle ronde controleert. Leviathan e.a. maten een versnelling van 2 tot 3 keer op T5-XXL, met identieke uitvoer.

Uitvoer is ook duurder dan invoer. In september 2026 rekent Anthropic voor Claude Sonnet 4.6 $3 per miljoen invoertokens en $15 per miljoen uitvoertokens.

Waar gaat het mis?

Een token dat eenmaal is geschreven, blijft staan en wordt context voor alles wat volgt. Bengio e.a. (2015) wijzen op het verschil dat daaronder ligt: tijdens de training ziet het model het juiste vorige token, bij het genereren zijn eigen token. Door dat verschil tussen training en gebruik kunnen fouten zich langs de gegenereerde reeks snel opstapelen.

Altijd het waarschijnlijkste token kiezen heeft een eigen probleem. Holtzman e.a. (2019) zagen dat het tot flauwe, vreemd repetitieve tekst leidt, en stelden nucleus sampling voor, beter bekend als top-p.

Voorbeeld

Stel: een klant vraagt de assistent van een webshop wanneer de winkel dicht is, en het antwoord luidt tot nu toe "We zijn gesloten op". Het model geeft elk token in zijn vocabulaire een score, en "zondag" komt misschien bovenaan. Dat token wordt toegevoegd, het model draait opnieuw op "We zijn gesloten op zondag" en kiest het volgende token, misschien een punt. Elke stap is één ronde door het model, en bij streaming verschijnt elk token op het scherm zodra het is gekozen. Waar het ene token ophoudt en het volgende begint, verschilt per model.