Contextcompressie voor AI-agents

Een AI-model kan maar een beperkte hoeveelheid tekst tegelijk lezen, en elk woord dat het leest kost geld. Contextcompressie houdt die tekst kort: oude gespreksbeurten worden samengevat, ruwe resultaten die niet meer nodig zijn verdwijnen, en de belangrijkste feiten blijven staan. Een klantenservice-assistent die een lange zaak afhandelt, kan dan doorwerken zonder de draad kwijt te raken of de rekening op te laten lopen.

Waarom hebben AI-agents het nodig?

Een AI-agent voegt elke toolaanroep en het volledige resultaat toe aan zijn geschiedenis, dus die groeit bij elke stap. Contextvensters houden volgens Simon Willison in maart 2026 meestal op rond 1.000.000 tokens, en benchmarks melden vaak betere resultaten onder de 200.000. De kwaliteit daalt al ruim voordat het venster vol is. Liu e.a. (2023) ontdekten dat modellen informatie in het midden van een lange invoer slechter gebruiken dan aan het begin of eind, en Anthropic beschrijft context rot: hoe meer tokens, hoe minder het model terughaalt van wat in zijn context staat. Aanbieders rekenen bovendien per token.

Hoe werkt het?

Effective context engineering for AI agents van Anthropic (september 2025) beschrijft de belangrijkste technieken:

• Compaction: als een gesprek de limiet nadert, vat het model het samen en begint een nieuwe context vanuit die samenvatting. Claude Code bewaart architectuurbeslissingen, openstaande bugs en implementatiedetails, laat overbodige tooluitvoer weg en gaat verder met de samenvatting plus de laatste vijf bestanden die het opende.
• Tool result clearing: zodra een toolresultaat diep in de geschiedenis ligt, verdwijnt de ruwe uitvoer. Anthropic noemt dat een van de veiligste en lichtste vormen van compaction.
• Gestructureerde notities: de agent schrijft aantekeningen naar een bestand buiten de context, zoals een takenlijst of een NOTES.md, en leest ze later terug.
• Subagents: een subagent zoekt dingen uit in zijn eigen, schone context en geeft een beknopte samenvatting terug, vaak 1.000 tot 2.000 tokens.

Compressie kan ook op de tekst zelf werken. LLMLingua (Microsoft, 2023) gebruikt een klein taalmodel om de minst informatieve tokens uit een prompt te schrappen; op de geteste datasets was tot 20x compressie mogelijk met weinig prestatieverlies. De browseragent Lumen, een klein opensourceproject uit maart 2026, werkt in twee lagen: eerst laat hij oude screenshots weg, daarna laat hij een taalmodel de geschiedenis samenvatten zodra 80% van de context in gebruik is. Een gestructureerde JSON-toestand die de agent zelf schrijft, blijft die compaction over.

Waar gaat het mis?

Wat wegvalt, is voor het model weg. Anthropic waarschuwt dat te agressieve compaction "subtle but critical context whose importance only becomes apparent later" kan kosten, en raadt aan de compaction-prompt af te stemmen op echte agentsessies: eerst zorgen dat alles wat relevant is erin zit, daarna het overbodige schrappen. Compressie vervangt ook niet de keuze wat er überhaupt in de context komt. Het uitgangspunt van Anthropic is "the smallest possible set of high-signal tokens" voor de taak te vinden.

Voorbeeld

In september 2025 voegde Anthropic context editing toe aan zijn ontwikkelplatform: dat ruimt verouderde toolaanroepen en -resultaten automatisch op als een agent de tokenlimiet nadert (aankondiging). Volgens Anthropic maakten agents met context editing in een webzoektest van 100 beurten workflows af die anders op een volle context stukliepen, met 84% minder tokens. Op een interne test voor agentisch zoeken verbeterde context editing alleen de prestaties met 29%, en met 39% samen met een geheugentool die informatie opslaat in bestanden buiten de context.