AI-inferentie

Inferentie is het moment waarop een getraind AI-model aan het werk gaat: het krijgt nieuwe invoer, zoals de vraag van een klant, en maakt daar een antwoord van. Training is hoe het model heeft geleerd; inferentie is elk gebruik daarna. Elk chatbotantwoord is er één. Voor een bedrijf is inferentie waar je per gebruik voor betaalt, vaak per token, een klein stukje tekst, en het bepaalt hoe snel antwoorden binnenkomen.

Wat is het verschil met training?

Onderzoekers van Google en UC Berkeley beschrijven de twee fasen zo: training bouwt een nauwkeurig model op door de parameters in een intensief proces steeds opnieuw bij te stellen, en inferentie gebruikt het getrainde model om van invoer uitvoer te maken (Patterson e.a., 2022). Tijdens inferentie liggen de gewichten vast. Het GPT-3-paper liet zien dat een model een taak kan oppikken uit voorbeelden in de prompt, zonder dat er een gewicht wordt bijgewerkt of het model wordt gefinetuned (Brown e.a., 2020). Wat het zo oppikt, geldt alleen voor dat gesprek. Wil je dat een model je eigen informatie gebruikt, dan geef je die elke keer mee in de prompt, bijvoorbeeld met RAG, of train je het verder met fine-tuning. Het artikel training vs inferentie vergelijkt de twee uitgebreider.

Training is een grote kostenpost vooraf. Inferentie kost elke keer een beetje, en dat telt op: bij Google ging van 2019 tot 2021 ongeveer drie vijfde van de energie voor machine learning naar inferentie en twee vijfde naar training, volgens hetzelfde paper.

Wat gebeurt er tijdens inferentie?

Bij een groot taalmodel heeft inferentie twee fasen. Pope e.a. (Google, 2022) noemen het verwerken van de invoertokens "prefill" en het token voor token schrijven van het antwoord "decode". Prefill leest de hele prompt in één parallelle stap. Decode vraagt voor elk nieuw token een volledige doorgang door het model (autoregressieve generatie), en een KV-cache bewaart tussenresultaten van eerdere tokens zodat die niet opnieuw berekend hoeven te worden. Daaruit volgen twee snelheidsmaten. De time to first token is de tijd tussen het versturen van de prompt en de aankomst van het eerste token van het antwoord (Anthropic). Daarna telt de snelheid in tokens per seconde.

Hoe wordt het sneller en goedkoper?

• Batching: een server verwerkt veel verzoeken tegelijk. De opensource-servingbibliotheek vLLM slaat de KV-cache op in pagina's, zoals een besturingssysteem geheugen beheert, en de makers maten 2 tot 4 keer zoveel doorvoer als eerdere systemen bij dezelfde latentie (Kwon e.a., 2023).
• Kwantisatie: de gewichten worden met minder bits opgeslagen, zodat het model minder geheugen nodig heeft.
• Speculative sampling: een klein model schrijft een paar tokens voor en het grote model controleert ze in één doorgang. Op Chinchilla, een model met 70 miljard parameters, mat DeepMind 2 tot 2,5 keer sneller decoderen zonder kwaliteitsverlies (Chen e.a., 2023). Leviathan e.a. (Google, 2022) beschrijven hetzelfde idee als speculative decoding.
• Een kleiner model: volgens de documentatie van Anthropic is het juiste model kiezen een van de meest directe manieren om de latentie te verlagen.

Voorbeeld

Stel: een nieuwssite laat een taalmodel elke dag 5.000 artikelen samenvatten, taggen en van SEO-metadata voorzien, met per artikel ongeveer 1.800 invoertokens en 400 uitvoertokens. Dat is 9 miljoen invoertokens en 2 miljoen uitvoertokens per dag. In september 2026 rekent Anthropic voor Claude Sonnet 5 $2 per miljoen invoertokens en $10 per miljoen uitvoertokens (prijzen), dus de dag kost $18 plus $20, samen $38. Alleen het taggen, met 400 invoer- en 50 uitvoertokens per artikel, is goed voor 2 miljoen invoer- en 250.000 uitvoertokens: $6,50 op Sonnet 5, of $3,25 op Claude Haiku 4.5 tegen $1 en $5 per miljoen. Omdat de artikelen geen direct antwoord nodig hebben, kan de site ook de Batch API gebruiken, die de prijs van zowel invoer- als uitvoertokens halveert.