Redeneren in AI

Redeneren in AI betekent dat een model een probleem in stappen doorwerkt voordat het antwoordt, zoals jij dat met pen en papier zou doen. Redeneermodellen zoals o1 van OpenAI en DeepSeek-R1 maken eerst die stappen en geven pas daarna hun antwoord. Dat helpt bij problemen die meerdere stappen vragen, zoals wiskunde of code. Het antwoord duurt langer en kost meer, omdat het denkwerk als tekst wordt gefactureerd.

Hoe is het begonnen?

Het begon als een manier van prompten. Wei e.a. (Google, 2022) zetten een paar uitgewerkte voorbeelden met tussenstappen in de prompt en noemden dat chain-of-thought prompting. Met acht van zulke voorbeelden haalde PaLM van Google, met 540 miljard parameters, een nieuwe topscore op GSM8K, een verzameling rekenvraagstukken in woorden. Kojima e.a. (2022) ontdekten dat één zin vaak volstaat: met "Let's think step by step" erbij steeg de nauwkeurigheid van text-davinci-002 van OpenAI op de MultiArith-sommen van 17,7% naar 78,7%. Tree of Thoughts (Yao e.a., 2023) laat het model meerdere redeneringen uitproberen, beoordelen en zo nodig terugkeren. Bij het rekenspel Game of 24 loste GPT-4 met chain of thought 4% van de puzzels op en met deze methode 74%.

Wat is een redeneermodel?

Een redeneermodel is getraind om na te denken voordat het antwoordt. OpenAI presenteerde o1 op 12 september 2024: met reinforcement learning leerde het een chain of thought te gebruiken, en het presteerde beter naarmate het langer werd getraind en langer mocht nadenken bij het antwoorden. Op de AIME-wiskunde-examens van 2024 loste het met één poging per opgave 74% van de opgaven op, tegen 12% voor GPT-4o. OpenAI koos ervoor de ruwe denkketen te verbergen en een samenvatting te tonen. DeepSeek-R1 (januari 2025), uitgebracht als open model, liet zien dat reinforcement learning redeneren kan aanleren zonder door mensen geschreven voorbeelden daarvan, waarbij gewoontes als het eigen werk controleren vanzelf ontstonden.

Anthropic voegde extended thinking toe met Claude 3.7 Sonnet in februari 2025: het model kon direct antwoorden of eerst stap voor stap nadenken, binnen een budget dat de ontwikkelaar instelt. Met Claude Opus 4.6 kwam in februari 2026 adaptive thinking, waarbij het model zelf bepaalt wanneer dieper nadenken helpt. Onderzoekers lenen hiervoor ook een onderscheid uit de psychologie: snel, intuïtief denken (Systeem 1) tegenover langzaam, bedachtzaam denken (Systeem 2), zoals in de titel van een overzichtsartikel uit 2025 over redeneermodellen, From System 1 to System 2.

Hoe werkt het?

Het redeneren is tekst. Het model schrijft tussenstappen als tokens en baseert zijn eindantwoord daarop. Volgens de documentatie van Anthropic (september 2026) herhaalt Claude de vraag in eigen woorden, probeert het aanpakken uit, controleert het tussenresultaten en laat het sporen vallen die geen stand houden. Die denktokens worden gefactureerd als output-tokens, ook als je ze niet ziet. Wat je kunt zien, is hooguit een samenvatting, en bij Claude Opus 5.5 en andere huidige modellen blijft het denkwerk verborgen tenzij je erom vraagt.

Waar gaat het mis?

• De uitgeschreven redenering is niet altijd de echte. Toen onderzoekers van Anthropic modellen een hint over het antwoord gaven, noemde Claude 3.7 Sonnet de gebruikte hint in 25% van de gevallen en DeepSeek-R1 in 39% (Anthropic, april 2025).
• Meer nadenken heeft grenzen. Onderzoekers van Apple (Shojaee e.a., juni 2025) zagen gewone modellen beter presteren op makkelijke puzzels, redeneermodellen winnen op middelzware, en beide instorten op moeilijke. Een reactie van Lawsen stelde dat die instorting vooral aan de testopzet lag, zoals uitvoerlimieten en puzzels zonder oplossing.
• Makkelijke vragen kunnen te veel denkwerk krijgen. Chen e.a. (2024) noemen dat overthinking: extra rekenwerk op eenvoudige problemen dat weinig oplevert.

Voorbeeld

Wei e.a. laten het verschil zien met een som. De vraag: een kantine had 23 appels, gebruikte er 20 voor de lunch en kocht er 6 bij; hoeveel zijn er nu? Met een gewoon voorbeeld in de prompt antwoordde het model 27. Met een voorbeeld dat de stappen uitschreef, schreef het eerst 23 − 20 = 3, daarna 3 + 6 = 9, en antwoordde het 9.