Token in AI

Een token is een stukje tekst dat een AI-model leest of schrijft: een kort woord, een deel van een woord of een leesteken. De AI-diensten achter chatbots en andere apps rekenen per token af, dus een webshop betaalt voor de tekst die zijn chatbot naar het model stuurt en voor elk antwoord dat terugkomt. In het Engels is 100 tokens ongeveer 75 woorden; Nederlands heeft er meestal meer nodig.

Hoe ziet een token eruit?

Veelvoorkomende woorden zijn meestal één token, en zeldzame of lange woorden worden in stukken geknipt (Hugging Face). In de Tokenizer van OpenAI, ingesteld op de GPT-5.x-modellen in september 2026, is "the" één token, is "understanding" los twee tokens ("under" en "standing") en is het woord "klantenservicemedewerker" er zes. Hoofdletters en een spatie vooraan veranderen de verdeling ook: "red", "Red" en " red" kunnen verschillende tokens zijn (OpenAI). Ook afbeeldingen en geluid worden tokens: in september 2026 telt Google voor Gemini een afbeelding van maximaal 384 bij 384 pixels als 258 tokens, en een seconde audio als 32.

Hoeveel woorden is een token?

Voor Engelse tekst rekent OpenAI een token als ongeveer 4 tekens of driekwart woord. Google houdt voor Gemini ongeveer 4 tekens aan, met 100 tokens voor 60 tot 80 Engelse woorden. Dat zijn gemiddelden, en elke modelfamilie gebruikt een eigen tokenizer. De Claude-modellen van Anthropic vanaf versie 4.7 gebruiken een nieuwere tokenizer, die van dezelfde tekst ongeveer 30% meer tokens maakt dan eerdere Claude-modellen. Anthropic raadt daarom aan per model opnieuw te tellen (Anthropic).

Ook de taal telt mee. Petrov e.a. (2023) knipten dezelfde 2.000 zinnen in 200 talen in tokens en vonden verschillen tot 15 keer. Met de tokenizer die GPT-4 en ChatGPT toen gebruikten, had Nederlands voor dezelfde tekst ongeveer 1,6 keer zoveel tokens nodig als Engels, en was het dus ongeveer 1,6 keer zo duur.

Wat kost een token?

Aanbieders prijzen invoertokens, de tekst die je stuurt, apart van uitvoertokens, de tekst die het model schrijft. In september 2026 rekent Anthropic voor Claude Haiku 4.5 $1 per miljoen invoertokens en $5 per miljoen uitvoertokens, en voor Claude Sonnet 5 $2 en $10 (prijzen). Redeneermodellen schrijven ook verborgen redeneertokens, die OpenAI als uitvoertokens afrekent. Een kort antwoord kan dus meer tokens gebruiken dan de zichtbare tekst doet vermoeden. OpenAI raadt daarom aan de totale kosten van een taak te vergelijken in plaats van de prijs per miljoen tokens, omdat modellen dezelfde tekst anders opknippen en verschillend veel schrijven. Grenzen zoals het contextvenster worden ook in tokens geteld, en tokeneconomie gaat dieper in op de prijzen.

Hoe gebruikt een model tokens?

De tokenizer knipt de tekst in tokens uit een vaste lijst, het vocabulaire, en geeft elk token een nummer. Het model zet elk nummer om in een reeks getallen die het tijdens de training heeft geleerd, een embedding (Vaswani e.a., 2017). Een groot taalmodel schrijft zijn antwoord daarna token voor token (autoregressieve generatie).

Voorbeeld

Stel: de chatbot van een webshop voert 1.000 gesprekken per dag, elk met ongeveer 2.000 invoertokens (instructies, productinformatie en de berichten van de klant) en 300 uitvoertokens. Dat is 2 miljoen invoertokens en 300.000 uitvoertokens per dag. Op Claude Haiku 4.5 kost die dag tegen de prijzen van september 2026 $2 plus $1,50, samen $3,50. Op Claude Sonnet 5 kost elk token twee keer zoveel, en de nieuwere tokenizer maakt van dezelfde invoer ongeveer 30% meer tokens, dus alleen de invoer stijgt al van $2 naar ongeveer $5,20. De instructies komen in elk gesprek terug, dus prompt caching helpt: voor beide modellen kost tekst uit de cache een tiende van de invoerprijs.