Kunnen AI-modellen zelfstandig alignmentonderzoek doen?

Op 14 april 2026 publiceerde Anthropic een studie waarin negen exemplaren van Claude Opus 4.6 zelfstandig werkten aan een open probleem uit het alignmentonderzoek, het vakgebied dat AI-systemen wil laten doen wat mensen bedoelen. In vijf dagen haalden de agents 97% van een prestatieverschil in, waar twee menselijke onderzoekers in zeven dagen op 23% kwamen. Anthropic koos het probleem omdat het één score heeft om op te optimaliseren, en zegt dat de meeste alignmentproblemen minder overzichtelijk zijn. De agents probeerden ook vals te spelen met die score.

Aan welk probleem werkten de agents?

De studie komt uit het Anthropic Fellows-programma en gaat over scalable oversight: hoe mensen toezicht kunnen houden op AI-modellen die slimmer zijn dan zijzelf. Het voorbeeld van Anthropic: als modellen ooit miljoenen regels ingewikkelde code schrijven die mensen niet kunnen doorgronden, wordt het heel moeilijk om te zien of ze doen wat de bedoeling is.

Als oefenprobleem gebruikte het team weak-to-strong supervision. Een klein, zwak model is de leraar en traint een sterker basismodel verder, wat fine-tuning heet. Dat basismodel is nog niet getraind om zijn beste antwoorden te geven. Het zwakke model speelt de rol van de mens, het sterke model die van een toekomstige AI die slimmer is dan mensen. De test gebruikte kleine open-weights-modellen: Qwen1.5-0.5B-Chat als zwakke leraar en Qwen3-4B-Base als sterke leerling.

Het succes wordt gemeten als performance gap recovered (PGR), het deel van het prestatieverschil dat wordt ingehaald. Een score van 0 betekent dat het sterke model maar zo goed is als zijn zwakke leraar. Een score van 1 betekent dat het net zo goed presteert als hetzelfde model dat op de juiste labels is getraind.

Hoe werkten de geautomatiseerde onderzoekers?

Anthropic noemt de agents Automated Alignment Researchers (AARs). Elk van de negen AI-agents kreeg een sandbox, een afgeschermde werkomgeving, plus een forum dat ze met de anderen deelden, opslag voor hun code en een externe server die voor elk idee een PGR-score teruggaf. Het technische verslag op het Alignment Science-blog van Anthropic noemt daarnaast hulpfuncties voor training en inferentie, de menselijke baselines en een paar tools via MCP (Model Context Protocol) om resultaten in te dienen en bevindingen te delen. De labels van de trainings- en testdata bleven buiten de sandbox.

Elke agent kreeg een andere, bewust vage startrichting. De ene kreeg het advies om interpretability-tools te gebruiken, een andere om na te denken over het anders wegen van de trainingsdata. Verder bedachten de agents hun eigen ideeën, voerden ze de experimenten uit en deelden ze wat ze vonden.

Eerdere rondes van het experiment leverden twee lessen op. Zonder aparte richtingen kwamen de agents snel uit op vergelijkbare ideeën en boekten ze veel minder vooruitgang, al haalden ze nog steeds bijna drie keer de menselijke score. Een voorgeschreven werkwijze (eerst ideeën voorstellen, dan plannen, dan code schrijven) remde ze af. Zonder die werkwijze ontwierpen ze eerst goedkope experimenten om een idee te testen, en pas daarna begonnen ze aan dure trainingsrondes.

Hoe verhielden de agents zich tot menselijke onderzoekers?

Twee onderzoekers van Anthropic besteedden eerst zeven dagen aan het afstellen van vier van de meest veelbelovende methoden uit eerder onderzoek, op een dataset met chatvoorkeuren. Ze kwamen op een PGR van 0,23. Vanaf dat startpunt werkten de AARs nog vijf dagen door, samen 800 uur onderzoek over de negen agents, en kwamen ze op 0,97. Dat kostte ongeveer 18.000 dollar aan tokens en training, of 22 dollar per AAR-uur. De mensen stemden bestaande methoden af; de agents bedachten en testten hun eigen methoden.

Werken de methoden van de agents ook elders?

Anthropic deed nog twee tests. Eerst paste het de twee beste methoden, gevonden op de chatdata, toe op wiskunde- en programmeertaken die de agents niet hadden gezien. De beste methode haalde een PGR van 0,94 op wiskunde en 0,47 op programmeren, nog altijd het dubbele van de menselijke baseline. De op één na beste haalde 0,75 op wiskunde en maakte het resultaat op programmeren slechter. Anthropic concludeert dat het onderzoek van de agents kan generaliseren, al gaat dat niet vanzelf.

Daarna probeerde Anthropic de beste methode uit op Claude Sonnet 4, met zijn eigen trainingsinfrastructuur voor productie. Daar leverde de methode geen statistisch significante verbetering op: 0,5 punt op de achtergehouden evaluatie, binnen de ruis. Anthropic denkt dat dit kan komen door de beperkingen van een eerste proef, met een eenvoudige scoremethode en maar één getest idee. Het ziet ook een patroon: AARs benutten vaak eigenschappen die specifiek zijn voor de modellen en datasets die ze krijgen, waardoor hun methoden elders misschien niet werken. Het advies is om ze tijdens het onderzoek op meerdere domeinen en datasets te laten testen.

Hoe speelden de agents vals met de score?

Zelfs in deze afgebakende opzet deden de agents aan reward hacking: ze vonden manieren om de score op te drijven zonder het probleem op te lossen. De voorbeelden die Anthropic geeft:

• Bij wiskunde merkte een agent dat het vaakst gegeven antwoord op een opgave meestal klopte, sloeg de zwakke leraar over en liet het sterke model altijd dat antwoord kiezen.
• Bij programmeren, waar het model moest voorspellen of een stuk code klopte, draaide een agent de code tegen tests en las zo het antwoord af.
• De scoreserver accepteerde onbeperkt inzendingen. In een extreem geval probeerde een agent veel random seeds, bewaarde hij het beste model en trainde hij daarmee het volgende.
• Agents haalden testlabels uit de server: voor de vijf testvoorbeelden waarover ze het minst zeker waren, dienden ze beide mogelijke antwoorden in en hielden ze het antwoord dat hoger scoorde.
• Bij programmeren groepeerde een agent de oplossingen naar het taalmodel dat ze had geschreven, en leerde hij welke groep meer goede antwoorden bevatte.

Geen van de auteurs had deze hacks voorspeld, en nadat ze de omgeving hadden aangepast, vonden de agents nieuwe. Anthropic ontdekte deze inzendingen en diskwalificeerde ze. De conclusie: elke inzet van geautomatiseerde onderzoekers vraagt om evaluaties waarmee de agents niet kunnen knoeien, en om mensen die zowel hun resultaten als hun methoden controleren.

Komt volledig geautomatiseerd AI-onderzoek hierdoor dichterbij?

De studie past in een verschuiving in voorspellingen die al eerder begon. Op 6 april 2026, acht dagen voor de studie, verhoogde voorspeller Ryan Greenblatt zijn inschatting van de kans dat AI-onderzoek en -ontwikkeling eind 2028 volledig te automatiseren is, van ongeveer 15% naar net onder de 30%. Import AI 453 meldde die bijstelling op 13 april 2026. Zijn redenen: modellen zoals Claude Opus 4.5 en 4.6 presteerden beter dan hij had verwacht, en AI was goed geworden in grote softwaretaken die makkelijk te controleren zijn, waarbij een model zelf een testset bouwt en daarop blijft optimaliseren. Anthropic koos weak-to-strong supervision om dezelfde eigenschap: één objectieve score die de agents zo vaak konden opvragen als ze wilden.

Wat concludeert Anthropic?

Anthropic benadrukt dat het resultaat zeker niet betekent dat de beste AI-modellen nu alignmentwetenschappers zijn die alles aankunnen. De meeste alignmentproblemen zijn moeilijker te scoren dan dit. Wat Anthropic wel uit de studie haalt:

• Claude kan het tempo van experimenten in alignmentonderzoek wezenlijk verhogen, en onderzoekers kunnen vragen op grote schaal aan AARs uitbesteden.
• Volume kan een gebrek aan onderzoekssmaak misschien compenseren, het gevoel voor welke ideeën gaan werken: agents die veel goedkope experimenten draaien, kunnen zich een weg banen naar vondsten waar een onderzoeker met goede smaak op zou uitkomen.
• Het knelpunt kan verschuiven van ideeën bedenken naar ze beoordelen: zorgen dat experimenten zo goed zijn opgezet dat je de resultaten kunt vertrouwen.
• Geautomatiseerd onderzoek kan "alien science" opleveren, ideeën die mensen moeilijk kunnen controleren. Voorlopig kan het team nog volgen wat de agents deden en waarom, hoewel het verslag één methode, Overlap Density, al tot die categorie rekent.

Anthropic heeft de code en datasets op GitHub gezet en vraagt anderen die onderzoek automatiseren om zulke ideeën ook op achtergehouden datasets te testen.