Temperature bij AI

Temperature is een instelling in veel AI-tools die bepaalt hoeveel de antwoorden variëren. Bij een lage stand houdt het model zich aan de meest waarschijnlijke formulering, handig voor een webshop die zijn productteksten steeds in dezelfde stijl wil. Bij een hoge stand neemt het meer risico, wat helpt als je tien verschillende slogans zoekt. De instelling verandert niets aan wat het model weet.

Hoe werkt het?

Een groot taalmodel schrijft tekst token voor token. Bij elke stap geeft het elk mogelijk volgend token een score, een logit. De softmaxfunctie zet die scores om in kansen, en het model trekt daaruit het volgende token. Temperature deelt de scores vóór die stap. Holtzman e.a. (2019) schrijven dat als exp(logit / t), genormaliseerd over alle tokens.

Onder 1 worden de verschillen tussen de scores groter en wint het waarschijnlijkste token vaker. Boven 1 worden ze kleiner en krijgen onwaarschijnlijke tokens een echte kans. Bij 0 neemt het model altijd het waarschijnlijkste token; dat heet greedy decoding. Temperature werkt samen met top-p sampling en top-k, die de onwaarschijnlijke staart afknippen voordat er wordt getrokken.

Welke waarden staan aanbieders toe?

De API van OpenAI accepteert 0 tot 2. Volgens de SDK-documentatie maken waarden als 0,8 de output willekeuriger en waarden als 0,2 gerichter en voorspelbaarder, en pas je temperature of top_p aan, niet allebei. De API-referentie van Anthropic staat 0 tot 1 toe, gebruikt standaard 1 en raadt waarden dicht bij 0,0 aan voor analytische taken en meerkeuzevragen, en dicht bij 1,0 voor creatieve taken.

Nieuwere modellen beperken de keuze. In september 2026 markeert dezelfde referentie van Anthropic temperature als verouderd: modellen die na Claude Opus 4.6 zijn uitgebracht, accepteren alleen 1,0. De documentatie van Azure OpenAI van Microsoft meldt dat de redeneermodellen temperature niet ondersteunen, op GPT-6 Astra na.

Geeft temperature 0 elke keer hetzelfde antwoord?

Niet betrouwbaar. Volgens de referentie van Anthropic zijn de resultaten ook bij temperature 0,0 niet volledig deterministisch. In september 2025 liet Thinking Machines Lab Qwen3-235B 1.000 keer dezelfde prompt afmaken bij temperature 0 en kreeg 80 verschillende teksten. De belangrijkste oorzaak die ze vonden, is de serverbelasting: de batchgrootte wisselt per verzoek, en de gangbare inferentiecode geeft bij verschillende batchgroottes net andere getallen. Met batch-invariante code waren alle 1.000 antwoorden gelijk.

Maakt een hogere temperature de antwoorden slechter?

Bij probleemoplossing minder dan vaak wordt aangenomen. Renze en Guven (2024) testten negen modellen op meerkeuzevragen en vonden tussen 0,0 en 1,0 geen statistisch significant effect op de nauwkeurigheid. Boven 1,0 werd de tekst van GPT-3.5 snel onsamenhangend, en bij 1,6 was de nauwkeurigheid ongeveer nul. Holtzman e.a. beschrijven de andere kant: een lagere temperature verbetert de kwaliteit ten koste van de variatie, en steeds het waarschijnlijkste token kiezen levert flauwe, vreemd repetitieve tekst op. Het overzichtsartikel van Huang e.a. (2023) voegt toe dat een hogere temperature de kans op hallucinaties vergroot.

Voorbeeld

Stel: een webshop gebruikt één model voor twee taken. Productteksten volgens een vast sjabloon draaien op een lage temperature, zodat de toon in de hele catalogus gelijk blijft. Slogans voor een campagne draaien op een hogere, zodat elk verzoek nieuwe ideeën oplevert. Met verwisselde instellingen zouden de productteksten van toon gaan verschillen en zouden de slogans op elkaar gaan lijken. Accepteert een model alleen de standaardwaarde, dan stuur je de variatie via de prompt, bijvoorbeeld met een strak sjabloon voor de productteksten en de vraag om tien verschillende opties voor de slogans.