Prompt caching is korting op tekst die je steeds opnieuw meestuurt. Veel AI-toepassingen sturen bij elke vraag dezelfde lange tekst mee: instructies, een prijslijst, een retourbeleid. Met prompt caching bewaart de aanbieder zijn verwerkte versie een korte tijd. Een verzoek dat met precies dezelfde tekst begint, hergebruikt die: dat deel kost ongeveer een tiende van de normale prijs, en het antwoord begint sneller.
Hoe werkt het?
Een taalmodel zet elk token van de invoer om in tussenresultaten, de keys en values van de KV-cache. Prompt caching bewaart die resultaten voor het begin van een prompt, de prefix, zodat een later verzoek met dezelfde prefix dat werk overslaat (OpenAI). Alleen een exacte match telt. Eén gewijzigd teken vooraan in de prompt, zoals een tijdstempel, maakt alles daarna weer nieuw. Zet dus de vaste delen vooraan (tooldefinities, de systeemprompt, naslagdocumenten) en de vraag achteraan. Het antwoord zelf is hetzelfde als zonder caching (Anthropic).
Bij OpenAI staat caching standaard aan. Bij Anthropic zet je het aan met een cache_control-veld in het verzoek, één keer voor het hele verzoek of op maximaal vier blokken die in een verschillend tempo veranderen. Draai je een model op je eigen server, dan doet vLLM hetzelfde met automatic prefix caching.
Wat kost het?
In september 2026 gebruiken beide aanbieders dezelfde vermenigvuldigers: een prefix naar de cache schrijven kost 1,25 keer de normale invoerprijs, en lezen kost 0,1 keer, voor de meeste modellen van Anthropic en voor GPT-5.6 en later bij OpenAI. Voor Claude Sonnet 5, dat $2 per miljoen invoertokens kost, kost schrijven naar de cache $2,50 en lezen uit de cache $0,20 per miljoen tokens. Uitvoertokens kosten hetzelfde, met of zonder cache.
Caching loont vanaf het eerste hergebruik. OpenAI rekent het voor: een prefix één keer schrijven en één keer hergebruiken kost 1,35 keer de normale invoerprijs, tegen 2 keer als het model hem twee keer zonder cache verwerkt. De cache van Anthropic blijft standaard vijf minuten bestaan en wordt bij elk gebruik gratis verlengd; een cache van een uur kost bij het schrijven twee keer de invoerprijs. Voor GPT-5.6 en later bewaart OpenAI een prefix minstens 30 minuten na het laatste gebruik.
Hoeveel sneller is het?
De winst groeit met de lengte van de gecachete tekst. Toen Anthropic prompt caching in augustus 2024 introduceerde, mat het de tijd tot het antwoord begon: bij een prompt van 100.000 tokens (een heel boek) daalde die van 11,5 naar 2,4 seconden, bij een prompt van 10.000 tokens van 1,6 naar 1,1 seconden.
Waar gaat het mis?
- Korte prompts worden niet gecachet. In september 2026 is het minimum 1.024 tokens voor Claude Sonnet 5 en voor GPT-5.6 van OpenAI, en 4.096 voor Claude Haiku 4.5. Daaronder verwerkt Anthropic het verzoek gewoon, zonder foutmelding.
- Een stille periode maakt de cache leeg. Bij Anthropic betaalt het volgende verzoek na vijf minuten zonder verzoeken weer de schrijfprijs.
- Parallelle verzoeken missen elkaar. Anthropic maakt een cache-item pas beschikbaar zodra het eerste antwoord is begonnen.
- Bij beide aanbieders zijn caches per organisatie gescheiden, dus andere klanten kunnen de jouwe niet lezen.
Voorbeeld
Stel: de klantenservice-assistent van een webshop stuurt bij elke vraag 10.000 tokens aan instructies en productinformatie mee, plus ongeveer 500 tokens vraag. Hij verwerkt 2.000 vragen per dag, ongeveer één per 20 seconden tijdens openingstijden, dus de cache blijft warm. Op Claude Sonnet 5 tegen de prijzen van september 2026 zijn dat zonder caching 21 miljoen invoertokens per dag: $42. Met caching kosten de 20 miljoen gecachete tokens $4 en de 1 miljoen vraagtokens $2, dus $6 per dag, plus ongeveer 2 cent voor elke keer dat de cache opnieuw moet worden geschreven.