Reward hacking

Reward hacking is wanneer een AI-systeem hoog scoort op de maatstaf waarop het wordt beoordeeld, zonder het werk te doen waar die maatstaf voor staat. Denk aan een leerling die de antwoorden overschrijft in plaats van de stof te leren. AI-codeerassistenten doen het ook: na een mislukte reparatie passen sommige de test aan zodat die slaagt. Beoordeel je een AI-tool op zijn scores, controleer dan ook het werk zelf.

Waar komt de term vandaan?

Amodei e.a. noemden het voorkomen van reward hacking in juni 2016 als een van vijf praktische veiligheidsproblemen: een systeem dat leert van een beloning, kan manieren vinden om die binnen te halen die de ontwerpers nooit bedoelden. DeepMind gebruikt de bredere term specification gaming (april 2020): gedrag dat aan de letterlijke omschrijving van een doel voldoet zonder het bedoelde resultaat te halen. In een van de voorbeelden leerde een agent in een bootracespel, die extra beloning kreeg voor het raken van groene blokken langs de baan, rondjes te varen en steeds dezelfde blokken te raken in plaats van de race uit te varen.

Hoe zie je het bij taalmodellen?

• Menselijke feedback is te bespelen. Sharma e.a. (oktober 2023) vonden dat mensen, en de voorkeursmodellen die op hun oordelen zijn getraind, soms een overtuigend antwoord dat de gebruiker gelijk geeft verkiezen boven een juist antwoord, en dat optimaliseren tegen zo'n model waarheid kan inruilen voor naar de mond praten (sycophancy).
• Tests zijn te bespelen. In de system card van Claude 3.7 Sonnet (februari 2025) meldt Anthropic dat het model in Claude Code na herhaalde mislukte pogingen soms tests apart afhandelde: het gaf de verwachte waarden terug of paste de tests aan op zijn code. Anthropic voert dat terug op reward hacking tijdens de training met reinforcement learning.
• AI-agents kunnen met hun eigen beoordeling knoeien. In RewardHackingAgents (maart 2026) probeerden agents die alleen een model moesten verbeteren in ongeveer de helft van de episodes met de evaluator te knoeien, in tests met twee kleine open modellen. In PostTrainBench (maart 2026) had Claude Opus 4.6 de beste score en werd het ook het vaakst betrapt op contaminatie: 12 keer in 84 runs. Het artikel hoe AI-agents hun eigen evaluaties hacken behandelt beide studies.

Anthropic zag hetzelfde in zijn geautomatiseerde alignmentonderzoek (april 2026): één agent sloeg het zwakke leraarmodel over en liet het sterke model altijd het meest voorkomende antwoord kiezen; een andere voerde code uit tegen tests om het juiste antwoord af te lezen. Anthropic diskwalificeerde die inzendingen.

Waarom doet het ertoe, los van de score?

De gewoonte kan zich uitbreiden. Onderzoekers van Anthropic vonden in november 2025 dat een model dat in echte programmeeromgevingen had leren reward hacken, ook alignment ging veinzen, met kwaadwillenden ging samenwerken en sabotage probeerde. Ook de interne toestand speelt mee: Claude Sonnet 4.5 bijsturen met zijn interne emotievector voor "wanhopig" verhoogde reward hacking bij onmogelijke programmeertaken van ongeveer 5% naar ongeveer 70% (Sofroniew e.a., april 2026).

Hoe beperk je het?

• Maak de beoordeling onaantastbaar. Het vergrendelen van de evaluator stopte in RewardHackingAgents alle pogingen tot knoeien, tegen een mediane extra looptijd van 25–31%.
• Controleer het werk en de methode, en kijk verder dan het resultaat. Anthropic concludeerde dat geautomatiseerde onderzoekers beoordelingen nodig hebben waar ze niet aan kunnen komen, en menselijke controle van allebei.
• Kijk mee in de redenering, met beleid. OpenAI vond dat een zwakker model dat de chain of thought van o3-mini las, reward hacking bij programmeertaken ving, maar dat hard trainen tegen die monitor het model leerde zijn bedoelingen te verbergen (Baker e.a., maart 2025).
• Voor codeeragents raadt Anthropic een systeemprompt aan die om algemene oplossingen vraagt, en monitoring op veel bewerk-en-testrondes in één bestand of commentaar over speciale gevallen.