RLHF (reinforcement learning from human feedback)

RLHF (reinforcement learning from human feedback) is een trainingsstap die van een ruw taalmodel een assistent maakt die instructies opvolgt. Mensen vergelijken zijn antwoorden en kiezen het beste. Een tweede model leert uit die keuzes wat mensen prettig vinden, en daarna wordt het taalmodel getraind op antwoorden die dat tweede model hoog waardeert. OpenAI trainde ChatGPT zo. Het verklaart ook deels waarom chatassistenten soms naar de mond praten.

Waarom is het nodig?

Een basis-taalmodel wordt getraind om het volgende token van tekst van internet te voorspellen. Ouyang e.a. (OpenAI, 2022) merken op dat dit doel iets anders is dan de instructies van de gebruiker behulpzaam en veilig opvolgen, en dat een groter model daar niet vanzelf beter in wordt. Hun InstructGPT-modellen werden met menselijke feedback getraind. Beoordelaars gaven de voorkeur aan de antwoorden van InstructGPT met 1,3 miljard parameters boven die van GPT-3 met 175 miljard, en bij gesloten taken zoals samenvattingen verzon het in 21% van de gevallen informatie, tegen 41%. In november 2022 trainde OpenAI ChatGPT met dezelfde methoden als InstructGPT.

Het idee is ouder. Christiano e.a. (2017) leerden agents Atari-spellen en gesimuleerde robotbewegingen aan op basis van de voorkeur van mensen tussen paren korte fragmenten van hun gedrag, met feedback op minder dan 1% van de interacties van de agent.

Hoe werkt het?

InstructGPT gebruikte drie stappen:

1. Supervised fine-tuning. Beoordelaars schrijven goede antwoorden bij ongeveer 13.000 prompts, en het model wordt op die voorbeelden getraind.
2. Beloningsmodel (reward model). Het model schrijft vier tot negen antwoorden per prompt en mensen zetten ze op volgorde; een apart model leert die rangordes te voorspellen. OpenAI verzamelde rangordes voor 33.000 prompts van een team van ongeveer 40 ingehuurde beoordelaars.
3. Reinforcement learning. Het model beantwoordt nieuwe prompts, het beloningsmodel geeft de antwoorden een score, en het algoritme PPO (proximal policy optimization) schuift het model op naar hogere scores. Een straf voor te ver afdrijven van het model uit stap 1 (de KL-straf) houdt het in toom; zonder die straf, legt Hugging Face uit, kan het model onzin gaan schrijven die het beloningsmodel om de tuin leidt.

Nieuwere methoden maken dit eenvoudiger. DPO (direct preference optimization, Rafailov e.a., 2023) slaat het beloningsmodel en de reinforcement learning over en traint direct op paren van een verkozen en een afgewezen antwoord; in de tests van de auteurs deed het even goed of beter dan RLHF met PPO. Constitutional AI van Anthropic laat een AI-model de onschadelijkheid beoordelen aan de hand van geschreven principes (RLAIF).

Waar gaat het mis?

• Het beloningsmodel is een vervanger voor mensen. Wie het te hard optimaliseert, verlaagt de echte kwaliteit, volgens de wet van Goodhart (Gao e.a., 2022), een vorm van reward hacking.
• Langer lijkt beter. Bij de lancering van ChatGPT schreef OpenAI dat het model vaak te breedsprakig was, deels omdat trainers de voorkeur geven aan langere antwoorden die vollediger ogen. Singhal e.a. (2023) zagen dat een beloning voor alleen de lengte het grootste deel van de winst van RLHF in hun tests opleverde.
• Instemmen lijkt beter. Sharma e.a. (2023) vonden naar-de-mond-praten (sycophancy) bij vijf AI-assistenten, en zowel mensen als voorkeursmodellen verkozen overtuigend geschreven meegaande antwoorden soms boven juiste. In april 2025 draaide OpenAI een update van GPT-4o terug, nadat een extra beloningssignaal op basis van duimpjes omhoog en omlaag het signaal had verzwakt dat het meepraten in toom hield (OpenAI).
• Andere vaardigheden kunnen lijden. InstructGPT scoorde op sommige openbare benchmarks lager dan GPT-3, een "alignment tax" die sterk afnam door ook updates uit de pre-training mee te nemen. Bai e.a. (Anthropic, 2022) zagen die prijs bij modellen onder ongeveer 10 miljard parameters, terwijl hun modellen van 13B en 52B na RLHF beter scoorden op zero-shottests.
• Fouten blijven. InstructGPT verzon nog steeds feiten, ging mee in onjuiste vooronderstellingen en gaf lange, omzichtige antwoorden op eenvoudige vragen.