Context rot

Context rot is de achteruitgang in het werk van een AI-model naarmate de tekst die het moet overzien groeit: eerdere berichten, geplakte documenten en de resultaten van tools die het gebruikte. Hoe langer dat wordt, hoe groter de kans dat het model een instructie of feit over het hoofd ziet. Een chatbot die aan het begin van een lange sessie je huisstijl volgt, kan daar later van afdrijven.

Waar komt de term vandaan?

Chroma, het bedrijf achter de gelijknamige vectordatabase, gebruikte de term in een technisch rapport van 14 juli 2025, Context Rot: How Increasing Input Tokens Impacts LLM Performance (Kelly Hong, Anton Troynikov, Jeff Huber). Zij testten 18 modellen, waaronder GPT-4.1, Claude 4, Gemini 2.5 en Qwen3, op bewust eenvoudige taken, en de prestaties werden onbetrouwbaarder naarmate de invoer groeide. In september 2025 nam Anthropic de term over in Effective context engineering for AI agents: naarmate het aantal tokens in het contextvenster toeneemt, haalt het model informatie daaruit minder nauwkeurig terug. Bij sommige modellen gaat dat geleidelijker dan bij andere, maar het gebeurt bij allemaal.

Wat vond het onderzoek?

• In een test met vragen over chatgeschiedenissen deed elk model het veel beter met alleen het relevante deel (ongeveer 300 tokens) dan met de volledige geschiedenis van ongeveer 113.000 tokens, grotendeels irrelevant.
• De prestaties daalden sneller als vraag en antwoord inhoudelijk minder op elkaar leken, en één afleider, een passage over hetzelfde onderwerp die de vraag niet beantwoordt, verlaagde de score al.
• Modellen deden het beter als de omringende tekst door elkaar was gehusseld dan als die een samenhangend essay vormde, een uitkomst die Chroma zelf verrassend noemt.
• Eerder onderzoek, Lost in the Middle (Liu e.a., 2023), liet zien dat modellen informatie aan het begin en eind van een lange invoer beter gebruiken dan informatie in het midden.

Waarom gebeurt het?

Chroma laat het mechanisme open. Anthropic geeft twee verklaringen. In een transformer kan elk token naar elk ander token kijken, dus n tokens hebben n² onderlinge relaties, en de aandacht van het model raakt verdund naarmate de context groeit. Modellen zijn bovendien vooral op kortere reeksen getraind, dus ze hebben minder ervaring met verbanden die een lange context overspannen. Anthropic noemt het resultaat een aandachtsbudget: elk nieuw token gebruikt er een stukje van.

Hoe voorkom je het?

Het artikel van Anthropic beschrijft deze technieken:

• Compaction: vat een gesprek dat de grens nadert samen en ga verder in een nieuwe context met die samenvatting. De lichtste vorm ruimt oude toolresultaten op. Claude Code doet dit automatisch; daarom raadt de documentatie aan blijvende regels in CLAUDE.md te zetten.
• Gestructureerde notities: de agent schrijft aantekeningen naar een bestand buiten de context, zoals een takenlijst, en leest ze later terug.
• Subagents: afgebakende deeltaken draaien in een schoon contextvenster en geven een korte samenvatting terug, vaak 1.000 tot 2.000 tokens.
• Just-in-time laden: de agent bewaart verwijzingen zoals bestandspaden en laadt de gegevens pas als hij ze nodig heeft.

Communitytools voor Claude Code verpakken deze ideeën. Volgens hun README's van mei 2026 gaf GSD elke uitvoerder een verse context en zei het context rot op te lossen, hield Context Mode ruwe tooluitvoer in een sandbox buiten de context, en comprimeerde Claude Mem het sessiegeheugen zodat het over sessies heen bewaard blijft. Zie ook contextcompressie.

Voorbeeld

Stel: een ontwikkelaar zegt 's ochtends tegen een coding agent dat hij nooit aan de betaalmodule mag komen. 's Middags bevat de sessie tientallen testruns en bestandslijsten, en de agent past de betaalmodule toch aan. De regel staat nog in de context, maar ligt begraven onder tooluitvoer. Zet je hem in CLAUDE.md, ruim je oude toolresultaten op of laat je een subagent het zoekwerk doen, dan blijft hij in beeld.