Verschil tussen training en inferentie

Training is de fase waarin een AI-model leert: het past zijn interne instellingen aan op een zeer grote verzameling voorbeelden, tot het minder fouten maakt. Inferentie is elk gebruik van het afgeronde model daarna, zoals een chatbot die een klant antwoordt. De maker van het model betaalt de training vooraf; jij betaalt voor inferentie telkens als je het gebruikt, en je vragen veranderen het model niet.

Wat gebeurt er in elke fase?

Onderzoekers van Google en UC Berkeley beschrijven de twee fasen zo: training bouwt een nauwkeurig model via een intensief proces waarin de parameters steeds opnieuw worden bijgewerkt, en inferentie gebruikt het getrainde model om invoer om te zetten in uitvoer (Patterson e.a., 2022). Bij training stuurt elke stap voorbeelden door het model, meet een loss function de fout, berekent backpropagation hoeveel elk gewicht daaraan bijdroeg, en past gradient descent de gewichten aan. Bij inferentie gaat alleen de invoer door het model, en blijven de gewichten gelijk.

Een model kan wel een taak oppikken uit voorbeelden in de prompt. De GPT-3-paper liet dat zien "without any gradient updates or fine-tuning" (Brown e.a., 2020), maar wat het model zo oppikt, geldt alleen voor dat gesprek. Het model zelf veranderen vraagt een nieuwe trainingsronde, zoals fine-tuning.

Waarom heeft training zoveel meer hardware nodig?

Bij training moet er veel meer in het geheugen staan dan alleen de gewichten. Een GPT-2-model met 1,5 miljard parameters heeft 3 GB nodig voor zijn gewichten in 16-bits precisie, maar training met de Adam-optimizer in mixed precision vraagt minstens 24 GB voor gewichten, gradiënten en optimizer-toestanden (Rajbhandari e.a., Microsoft, 2019). Op de grootste schaal trainde Meta Llama 3 405B op maximaal 16K H100-GPU's, terwijl één kopie van het afgeronde model in 16-bits precisie op 16 GPU's verdeeld over twee machines draait (Llama 3-paper). Inferentie wordt goedkoper met technieken als kwantisatie, een KV-cache en speculative decoding.

Wat kost elke fase?

Training is een grote kostenpost vooraf. De AI Index 2024 van Stanford schatte de rekenkosten voor het trainen van GPT-4 op 78 miljoen dollar en voor Gemini Ultra van Google op 191 miljoen dollar. Inferentie kost per keer weinig, maar houdt nooit op: in juli 2025 stuurden gebruikers van ChatGPT 18 miljard berichten per week (Chatterji e.a., 2025). Bij Google ging van 2019 tot 2021 ongeveer drie vijfde van de energie voor machine learning naar inferentie en twee vijfde naar training. Patterson e.a. schrijven dat toe aan de vele diensten van Google met elk een miljard gebruikers.

Voor een bedrijf dat een model via een API gebruikt, bestaat de hele rekening uit inferentie, betaald per token. In september 2026 rekent Anthropic voor Claude Sonnet 5 $2 per miljoen invoertokens en $10 per miljoen uitvoertokens (prijzen).

Wordt een model getraind door het te gebruiken?

Niet terwijl het antwoordt: inferentie laat de gewichten ongemoeid. Of een aanbieder je gesprekken later gebruikt om nieuwe modellen te trainen, staat in zijn databeleid. OpenAI meldt bijvoorbeeld dat het zakelijke gegevens uit zijn API en zakelijke producten standaard niet voor training gebruikt, tenzij de klant daarvoor kiest (OpenAI, bijgewerkt in januari 2026).

Voorbeeld

Stel: een administratiekantoor wil binnenkomende facturen door een model laten indelen in kostensoorten. Een kant-en-klaar model via een API gebruiken is alleen inferentie: het kantoor betaalt per factuur, en het model kent de kostensoorten omdat ze in de prompt staan. Zet het model de eigen kostensoorten van het kantoor steeds op de verkeerde plek, dan kan het kantoor het fine-tunen op facturen die al zijn ingedeeld. Dat is een kleine trainingsronde, en daarna is elke factuur weer inferentie, op het aangepaste model.