Chain-of-thought prompting

Bij chain-of-thought prompting vraag je een AI-model zijn stappen uit te schrijven voordat het antwoordt, zoals je een som op papier uitwerkt. Vraag je naar het totaal van een factuur, dan zet het eerst de regels onder elkaar, telt ze op en noemt dan het bedrag. Bij vragen met meerdere stappen klopt het antwoord vaker. De prijs is een langer antwoord: langer wachten en een hogere rekening.

Waar komt de term vandaan?

De naam komt van Wei e.a. (Google, januari 2022). Zij zetten acht uitgewerkte voorbeelden in de prompt, elk met de tussenstappen erbij, een vorm van few-shot prompting. Op GSM8K, een verzameling redactiesommen, ging PaLM, het model van Google met 540 miljard parameters, van 17,9% goed met gewone voorbeelden naar 56,9% met uitgeschreven denkstappen, destijds de beste score.

Vier maanden later lieten Kojima e.a. zien dat één zin zonder voorbeelden ook werkt. Met de toevoeging "Let's think step by step" steeg de nauwkeurigheid van text-davinci-002 van OpenAI op de MultiArith-sommen van 17,7% naar 78,7%. Dat heet zero-shot chain of thought (zie zero-shot prompting).

Hoe pas je het toe?

• Uitgewerkte voorbeelden: laat een of meer vragen zien met de stappen en het antwoord, in de vorm die je terug wilt.
• Eén instructie: vraag het model stap voor stap na te denken voordat het antwoordt.
• Meerdere ketens: laat het model dezelfde vraag een paar keer beantwoorden en neem het antwoord dat het vaakst terugkomt. Wang e.a. (2022) noemen dat self-consistency; bij PaLM leverde het op GSM8K 17,9 procentpunt extra op.
• Stappen los van het antwoord: Anthropic raadt tags aan zoals <thinking> en <answer>, zodat je software alleen het antwoord kan tonen.

Zit het nu in de modellen zelf?

Redeneermodellen zijn getraind om zo'n keten uit te schrijven voordat ze antwoorden, ook als je er niet om vraagt (zie redeneren in AI). Anthropic voegde dat als extended thinking toe met Claude 3.7 Sonnet in februari 2025. Met Claude Opus 4.6 kwam in februari 2026 adaptive thinking: het model bepaalt zelf hoeveel het nadenkt, bijgestuurd met een effort-niveau, en Claude Opus 4.7 voegde in april 2026 het niveau xhigh toe. In september 2026 staat het denken bij Claude Sonnet 5 standaard aan en bij Claude Opus 5.5 altijd, en bij allebei blijft de denktekst verborgen, tenzij je om een samenvatting vraagt (thinking).

Voor deze modellen doet een expliciete chain-of-thought-prompt er minder toe. OpenAI noemt het onnodig om zijn redeneermodellen te vragen stap voor stap na te denken (reasoning best practices). De promptgids van Anthropic (september 2026) ziet handmatige chain-of-thought prompting als terugvaloptie voor als het denken uitstaat.

Waar gaat het mis?

• Het vraagt een groot model. Wei e.a. zagen pas winst vanaf ongeveer 100 miljard parameters; kleinere modellen schreven vlotte maar onlogische ketens en scoorden lager dan zonder.
• Bij makkelijke vragen levert het weinig op. De winst was groter bij moeilijkere vraagstukken, en negatief of heel klein bij sommen van één stap.
• De uitgeschreven keten is niet altijd de echte redenering. Toen onderzoekers van Anthropic modellen een hint over het antwoord toespeelden, noemde Claude 3.7 Sonnet de gebruikte hint in 25% van de gevallen en DeepSeek-R1 in 39% (Anthropic, april 2025).
• De stappen kosten tokens. Ze zijn uitvoer, het dure deel van de rekening, en Anthropic rekent denkwerk af als uitvoertokens, ook als je de tekst niet ziet.

Voorbeeld

In het voorbeeld van Wei e.a. staat één opgeloste vraag in de prompt: Roger heeft 5 tennisballen en koopt 2 blikken met elk 3 ballen, en het uitgewerkte antwoord telt eerst de 2 blikken van 3 op tot 6 ballen en rekent dan 5 + 6 = 11. De nieuwe vraag: een kantine had 23 appels, gebruikte er 20 voor de lunch en kocht er 6 bij. Met een voorbeeld dat alleen het antwoord gaf, antwoordde het model 27. Met het uitgewerkte voorbeeld schreef het eerst 23 - 20 = 3, daarna 3 + 6 = 9, en antwoordde het 9.