Contextvenster

Een contextvenster is hoeveel tekst een AI-model in één keer kan meenemen: je vraag, de instructies, documenten die je toevoegt, het gesprek tot nu toe en het eigen antwoord van het model. Het wordt gemeten in tokens, kleine stukjes woord. Wat er niet in past, moet worden weggelaten of samengevat. Bij een lang contract of een lang gesprek kan de AI dus missen wat hij nooit te zien kreeg.

Hoe groot is een contextvenster?

Voor Gemini-modellen rekent Google een token als ongeveer 4 tekens, en 100 tokens als ongeveer 60 tot 80 Engelse woorden (Google). Volgens de handleiding over lange context konden vroege generatieve modellen 8.000 tokens tegelijk verwerken en latere 32.000 of 128.000. Google noemt Gemini het eerste model dat 1 miljoen tokens aankon, wat het vergelijkt met acht Engelse romans van gemiddelde lengte. In september 2026 geeft Anthropic zijn nieuwere Claude-modellen een venster van 1 miljoen tokens en andere, zoals Claude Sonnet 4.5, 200.000 (Anthropic).

Wat telt er mee?

Alles in een verzoek telt mee: de systeemprompt, elk bericht inclusief documenten en toolresultaten, de tooldefinities, en het antwoord dat het model schrijft, inclusief het denkwerk dat het eerst doet. Anthropic noemt het contextvenster het werkgeheugen van het model, los van de data waarop het is getraind. Aanbieders rekenen per token af, dus een vollere context maakt elk verzoek ook duurder.

Wat er aan de grens gebeurt, verschilt per dienst. Bij Claude 4.5 en nieuwere modellen stopt het genereren met een stopreden die aangeeft dat het venster vol is; eerdere Claude-modellen geven een foutmelding als het verzoek niet past. Toepassingen met lange gesprekken laten daarom oude berichten vallen, vatten ze samen of halen met RAG alleen de relevante passages op, strategieën die Google noemt voor modellen met kleinere vensters. Zie ook context compression.

Is een groter venster altijd beter?

Nee, om twee redenen. Het attention-mechanisme in een transformer vergelijkt tokens met elkaar, dus de kosten per laag groeien met het kwadraat van de invoerlengte (Vaswani e.a., 2017): twee keer zoveel context betekent ongeveer vier keer zoveel attention-rekenwerk.

Modellen gebruiken een lange context ook niet overal even goed. Liu e.a. (2023) vonden dat modellen het best antwoorden als de relevante passage aan het begin of het eind van de invoer staat, en het slechtst als die in het midden staat. In het ergste geval beantwoordde GPT-3.5-Turbo vragen over 20 of 30 documenten slechter dan zonder documenten (56,1% goed). De benchmark RULER (2024) testte 17 modellen die allemaal minstens 32.000 tokens beloven; maar de helft presteerde op die lengte nog voldoende. Anthropic noemt die achteruitgang context rot.

Voorbeeld

Stel: een webshop wil dat zijn assistent antwoordt op basis van een producthandleiding van 200.000 tekens. Bij ongeveer 4 tekens per token is dat zo'n 50.000 tokens. Dat past in een venster van 200.000 tokens, maar elke vraag neemt dan die 50.000 tokens mee, en een antwoord dat midden in de handleiding staat, is voor het model het lastigst te gebruiken. Met RAG stuurt de assistent alleen de paar secties mee die bij de vraag passen. Zo blijft elk verzoek klein en staat de relevante tekst vooraan.