Reinforcement learning (RL)

Reinforcement learning (RL) is AI trainen met vallen en opstaan. Het systeem probeert een actie, ziet wat er gebeurt en krijgt een score, een beloning of een straf, en leert na veel pogingen welke keuzes op den duur lonen. Zo leerde een computer een wereldkampioen Go verslaan, en het is een deel van hoe chatbots als ChatGPT leerden antwoorden te geven waar mensen de voorkeur aan geven.

Hoe werkt het?

In het leerboek van Sutton en Barto betekent reinforcement learning: leren wat je in elke situatie moet doen om een numerieke beloning zo groot mogelijk te maken. Niemand vertelt de lerende welke actie goed is; die moet dat zelf uitproberen. De introductie Spinning Up van OpenAI beschrijft de lus. Een agent bekijkt de toestand van zijn omgeving en kiest een actie; de omgeving verandert en geeft een beloning terug, een getal voor hoe goed of slecht de nieuwe toestand is. De agent streeft naar de hoogste totale beloning over de tijd, en de regel waarmee hij acties kiest, heet zijn policy.

Sutton en Barto noemen twee kenmerken die RL onderscheiden: vallen en opstaan, en uitgestelde beloning, omdat een actie invloed kan hebben op elke beloning die volgt. Anders dan bij supervised learning zijn er geen gelabelde voorbeelden van de juiste actie. De agent staat ook voor een dilemma: hij moet benutten wat al werkt om beloning te verdienen (exploitation), en onbeproefde acties uitproberen om iets beters te vinden (exploration).

Welke methoden zijn er?

Spinning Up deelt de algoritmen in naar wat ze leren. Q-learning-methoden, zoals DQN, schatten hoeveel toekomstige beloning elke actie in een bepaalde toestand waard is. Methoden voor policy-optimalisatie passen de policy zelf aan; PPO (Schulman e.a., 2017) is er een van. Volgens Spinning Up benut Q-learning zijn data beter als het werkt, en is policy-optimalisatie meestal stabieler.

Hoe gebruiken taalmodellen het?

In het InstructGPT-werk van OpenAI (Ouyang e.a., 2022) rangschikten mensen de antwoorden van een model, leerde een beloningsmodel hun voorkeur te voorspellen, en stemde PPO het taalmodel zo af dat het hoog scoorde op dat beloningsmodel. Dat is RLHF (reinforcement learning from human feedback), en OpenAI trainde ChatGPT (november 2022) op dezelfde manier. De auteurs van InstructGPT merken op dat het een model afstemt op de voorkeuren van een specifieke groep mensen, vooral hun beoordelaars en onderzoekers.

Redeneermodellen krijgen ook beloningen die een programma kan controleren. DeepSeek trainde DeepSeek-R1-Zero alleen met RL, met het algoritme GRPO: een wiskundig antwoord leverde een beloning op als het overeenkwam met het bekende antwoord, en code als die de testgevallen doorstond (DeepSeek-AI, 2025).

Waar gaat het mis?

• De agent optimaliseert de beloning zoals die is opgeschreven. DeepMind noemt dat specification gaming en had in april 2020 ongeveer 60 voorbeelden verzameld. In een van die gevallen kreeg een agent een beloning voor de hoogte van de onderkant van een rood legoblokje dat hij op een blauw blokje moest stapelen; in plaats daarvan draaide hij het rode blokje om.
• Ook een aangeleerd beloningsmodel kan worden uitgebuit; dat heet reward hacking. Daarom hield DeepSeek zulke modellen buiten zijn training voor redeneertaken.

Voorbeeld

AlphaGo van DeepMind bestudeerde eerst duizenden partijen van experts en speelde daarna tegen versies van zichzelf. In maart 2016 versloeg het Lee Sedol met 4-1 in Seoel. Opvolger AlphaGo Zero sloeg de menselijke partijen over. Het begon met willekeurig spel en kreeg zijn beloning aan het eind van elke partij: +1 voor winst, -1 voor verlies. In ongeveer drie dagen training speelde het 4,9 miljoen partijen tegen zichzelf, en daarna versloeg het de versie die van Lee Sedol had gewonnen met 100-0 (Silver e.a., 2017).