Betrouwbaarheidskloof van AI-agents in de praktijk

De betrouwbaarheidskloof van AI-agents in de praktijk is het verschil tussen hoe goed AI-agents scoren op bekende tests en hoe betrouwbaar ze echt werk afhandelen. Een agent kan een benchmark halen en toch hetzelfde klantverzoek de ene dag goed en de volgende dag fout afhandelen. In mei 2026 bleven op twee tests met echte werktaken zelfs de beste agents onder de 50%, dus hun werk moet je nog steeds controleren.

Wat bedoelen onderzoekers ermee?

De naam beschrijft een probleem dat onderzoekers op verschillende manieren meten. Rabanser, Kapoor en collega's van Princeton (Towards a Science of AI Agent Reliability, februari 2026) gaan uit van de observatie dat stijgende benchmarkscores snelle vooruitgang suggereren, terwijl veel AI-agents in de praktijk nog falen. Volgens hen verbergt één slagingspercentage vier eigenschappen: of een agent zich over meerdere runs gelijk gedraagt, kleine veranderingen doorstaat, voorspelbaar faalt en de schade van zijn fouten beperkt houdt. Over 15 modellen die in 24 maanden uitkwamen, nam de betrouwbaarheid maar weinig toe, terwijl de nauwkeurigheid steeg.

Waarom overschatten benchmarkscores de betrouwbaarheid?

Bekende tests zitten dicht bij hun plafond. Op GDPval van OpenAI was GPT-5.4 in 83,0% van de vergelijkingen even goed als of beter dan experts, wat de auteurs van JobBench bijna verzadigd noemen. Op JobBench zelf (25 mei 2026), 130 taken die werkenden het liefst uitbesteden, haalde de beste agent 45,9% (Claude Opus 4.7 in Claude Code). Op ITBench-AA (27 mei 2026), 59 Kubernetes-incidenten van Artificial Analysis en IBM, ging Claude Opus 4.7 voorop met 47%, voor GPT-5.5 met 46%; het beste open-weightsmodel haalde 40%.

Eén run verbergt wisselvalligheid. τ-bench (Yao e.a., juni 2024) simuleert klantenservice voor een winkel en een luchtvaartmaatschappij en introduceerde pass^k: de kans dat een agent dezelfde taak in alle k pogingen oplost. GPT-4o loste minder dan de helft van de taken op, en zijn pass^8 op de winkeltaken lag onder de 25%. Rabanser e.a. zagen in 2026 hetzelfde patroon: agents die een taak kunnen oplossen, doen dat vaak niet elke keer, en veel agents reageren anders op een anders geformuleerde instructie, terwijl ze kunstmatig ingebrachte technische storingen goed opvingen.

Sommige scores flatteren de agent. Kapoor e.a. (AI Agents That Matter, juli 2024) zagen dat veel benchmarks voor agents geen of een te zwakke afgeschermde testset hebben, zodat agents binnendoorweggetjes nemen en zich op de test overfitten. Ook de opzet telt: op JobBench scoorde Claude Sonnet 4.6 36,9% in Claude Code en 30,6% in OpenClaw, dus een score beschrijft één combinatie van model en agentsoftware.

Wat betekent dit als je agents inzet?

Test precies het model en de agentsoftware die je wilt gebruiken, op taken zoals de jouwe, en laat elke taak meer dan eens uitvoeren: het deel van de taken dat een agent elke keer goed doet, zegt meer dan één slagingspercentage (evaluatie van agents). Laat bij acties die moeilijk terug te draaien zijn een mens meekijken (human-in-the-loop). De scores bewegen wel. In september 2026 stond de hoogste score op het leaderboard van JobBench op 65,7% (Claude Opus 5), en op het leaderboard van ITBench-AA op 56,2% (GPT-5.6 Sol). Het artikel Waarom blijven AI-agents bij echt werk achter bij de hype? behandelt beide benchmarks uit mei 2026 uitgebreid.

Voorbeeld

Stel: een webshop wil een agent retourverzoeken laten afhandelen. De winkel verzamelt 20 typische verzoeken uit de inbox en laat de agent elk verzoek vijf keer afhandelen. De verzoeken die de agent in alle vijf runs goed doet, kan hij zelfstandig overnemen. De rest heeft een controle door een medewerker nodig, hoe goed de score van de agent op een openbare benchmark ook is. Dat is het idee van pass^k uit τ-bench, toegepast op het eigen werk van de winkel.