Agent-evaluatie

Agent-evaluatie is testen of een AI-agent het werk echt goed doet voordat je hem voor je laat werken. Een AI-agent is software die zelfstandig taken uitvoert, zoals een bestelling opzoeken en een klant zijn geld terugstorten. De test geeft hem realistische opdrachten en controleert het resultaat: is de terugbetaling echt verwerkt, of zei de agent dat alleen?

Hoe werkt het?

In de handleiding Demystifying evals for AI agents van Anthropic (januari 2026) is een eval een taak met duidelijke succescriteria, plus beoordelaars (graders) die elke poging scoren. Elke poging laat een transcript achter: de berichten van de agent, zijn tool calls (acties via software, zoals een zoekopdracht of een wijziging in een database) en de tussenresultaten. De handleiding onderscheidt dat van de uitkomst, de eindtoestand. Een agent die vluchten boekt, kan melden dat je vlucht geboekt is, terwijl de uitkomst is of er echt een reservering in de database staat.

Er zijn drie soorten beoordelaars, die vaak samen worden gebruikt:

• Code controleert de eindtoestand, draait tests of kijkt welke tools zijn aangeroepen. Dat is snel en reproduceerbaar, en het keurt geldige antwoorden af die van het verwachte patroon afwijken.
• Een taalmodel als beoordelaar (LLM-as-a-judge) scoort aan de hand van een beoordelingsschema. Het kan open antwoorden aan, kan per run anders oordelen en moet worden geijkt aan menselijke beoordelaars.
• Menselijke beoordelaars zijn het betrouwbaarst en het traagst.

Voor een agent die gesprekken voert, speelt vaak een tweede taalmodel de klant. In τ-bench (Yao e.a., 2024) praat een gesimuleerde klant met een agent van een winkel of luchtvaartmaatschappij, en daarna vergelijkt de benchmark de database met de verwachte toestand. Anthropic raadt aan te beginnen met 20 tot 50 eenvoudige taken die uit echte fouten komen.

Waarom is één geslaagde poging niet genoeg?

Een agent doet niet elke keer hetzelfde. Daarom introduceerde τ-bench pass^k, de kans dat een agent een taak in alle k pogingen oplost. GPT-4o met function calling loste in één poging ongeveer 61% van de winkeltaken op, en in alle acht pogingen ongeveer 25%. Voor een agent die klanten helpt, telt juist die betrouwbaarheid.

Voorbeeld

VAKRA van IBM Research (Inside VAKRA, april 2026) geeft agents meer dan 8.000 lokaal gehoste API's op echte databases in 62 domeinen, plus documentcollecties, met taken die 3 tot 7 stappen kunnen vragen. De beoordeling werkt als een waterval. Eerst controleert een programma de regels voor toolgebruik, als een taak die heeft. Daarna voert de benchmark de tool calls van de agent opnieuw uit en kijkt of de resultaten alle informatie van de referentieoplossing bevatten, zodat ook een andere geldige route slaagt. Waar die controle geen uitsluitsel geeft, en voor het eindantwoord, oordeelt een taalmodel.

Ecom-RLVE (april 2026) werkt zonder beoordelend taalmodel. In acht webwinkelomgevingen, zoals een winkelwagen vullen en retourneren, scoort een programma dat het verborgen doel kent of de taak af is, hoeveel beurten de agent door eigen fouten verspilde, en of hij producten aanraadde die hij nooit had opgezocht. Eén moeilijkheidsinstelling stuurt 12 aspecten van een taak, zoals hoe vaak de gesimuleerde klant een eis weglaat. Omdat code de score berekent, kunnen de omgevingen ook dienen als beloning bij training met reinforcement learning met verifieerbare beloningen (RLVR).

Waar gaat het mis?

• De beoordelaar kan fout zitten. Volgens Anthropic scoorde Claude Opus 4.5 eerst 42% op CORE-Bench. Na correcties in de beoordeling, die bijvoorbeeld 96.12 afkeurde waar 96.124991… werd verwacht, en met een minder beperkende opzet rond het model, was de score 95%.
• De exacte volgorde van tool calls controleren is kwetsbaar, omdat agents geldige routes vinden die niemand voorzag. Anthropic raadt aan te beoordelen wat de agent opleverde in plaats van de route die hij nam.
• De eindtoestand laat niet alles zien. De makers van τ-bench wijzen erop dat een agent een terechte retour kan verwerken zonder uitdrukkelijke bevestiging van de klant, wat tegen het beleid ingaat.
• Agents kunnen mazen in de test uitbuiten, een vorm van reward hacking.