Waarom blijven AI-agents bij echt werk achter bij de hype?

Deels omdat oudere tests van werktaken bijna verzadigd zijn, terwijl tests die uitgaan van echt werk dat niet zijn. Eind mei 2026 maten twee nieuwe benchmarks hoe AI-agents presteren op werk dat professionals echt doen: JobBench, 130 taken die werkenden het liefst uitbesteden, en ITBench-AA, 59 Kubernetes-incidenten van het soort waar site reliability engineers mee werken. Op allebei scoorde de beste agent onder de 50%. Op GDPval van OpenAI, een oudere test van werktaken, evenaarde of versloeg GPT-5.4 al in 83,0% van de vergelijkingen het werk van experts.

Wat meet JobBench?

JobBench komt van onderzoekers van de University of Washington en andere instellingen en verscheen op 25 mei 2026 (Li e.a.). De basis is WorkBank, een enquête waarin meer dan 1.500 werkenden per taak aangaven of ze die graag door een AI-agent zouden laten overnemen. Daaruit kozen de auteurs 35 beroepen, onder meer journalisten, klantenservicemedewerkers, boekhoudkundig medewerkers, onlinewinkeliers en advocaten, en ze bouwden 130 taken: een hoofdset van 65 en een makkelijkere set van 65.

Elke taak is een map met een opdracht, de op te leveren stukken en gemiddeld 3,9 referentiebestanden, zoals CSV-, PDF- en Excel-bestanden, die elkaar kunnen tegenspreken. In de journalistentaak uit de paper vergelijkt de agent gegevens over waterkwaliteit, richtlijnen van de EPA en gezondheidsdata over meerdere jaren voordat hij een redactioneel pakket samenstelt. De beoordeling gebruikt ketens van ja/nee-controles, gemiddeld 35,6 per taak. Een keten levert pas punten op als elke controle erin slaagt, dus het juiste feit via een verkeerde redenering levert niets op. Een taalmodel beoordeelt het werk: Grok 4.1 Fast, gecontroleerd met Claude Opus 4.5.

Hoe scoorden de agents op JobBench?

De auteurs testten 36 combinaties van model en agentsoftware (Claude Code, Codex CLI, OpenCode en OpenClaw). Op de hoofdset scoorde Claude Opus 4.7 in Claude Code 45,9%, GPT-5.5 in Codex CLI 42,7% en GPT-5.4 in Codex CLI 38,9%. Buiten de families Claude en GPT kwam geen enkele combinatie boven 19%. Google deed mee met Gemini 3 Pro en Gemini 3 Flash, allebei in OpenCode, met elk 11,4%. Tegen de standaardprijzen kostte een volledige run van de hoofdset 210 dollar met Opus 4.7 en 44 dollar met GPT-5.5.

Ook de agentsoftware telt: Claude Sonnet 4.6 scoorde 36,9% in Claude Code en 30,6% in OpenClaw.

Wat meet ITBench-AA?

ITBench-AA komt van Artificial Analysis, een onafhankelijk bedrijf dat AI-modellen test, en IBM, en verscheen op 27 mei 2026. Het bouwt voort op ITBench van IBM (2025) en begint met site reliability engineering (SRE), het werk dat productiesystemen draaiende houdt. Taken over cloudkosten (FinOps) en beveiliging (CISO) moeten volgen.

Elk van de 59 taken (40 openbaar, 19 geheim gehouden) is een momentopname van een Kubernetes-incident, met alerts, events, traces, metrics, logs en de topologie van de applicatie. De agent onderzoekt die met shellcommando's en moet de kleinste set Kubernetes-objecten noemen die het incident veroorzaakte. Voorbeelden van storingen zijn uitgeputte resourcequota, mislukte rollouts, uitgeputte connection pools en netwerkpartities. In een van de openbare taken blokkeert een network policy al het verkeer naar de frontend. Elk model draait in dezelfde agentsoftware, de opensource-harness Stirrup van Artificial Analysis, met maximaal 100 beurten en drie pogingen per taak. De score is streng: een poging die een echte oorzaak mist, scoort nul, en een poging die ze allemaal vindt, krijgt het aandeel genoemde objecten dat echt een oorzaak is.

Hoe scoorden de agents op ITBench-AA?

Claude Opus 4.7 ging aan kop met 47%, voor GPT-5.5 met 46% en Qwen3.7 Max met 42%. Het beste model met open gewichten, GLM-5.1, haalde 40%, gelijk met Gemini 3.5 Flash, en Gemini 3.1 Pro Preview scoorde 30%. Langer doorwerken hielp niet. GPT-5.5 had gemiddeld 31 beurten per taak nodig, Gemini 3.1 Pro Preview 83. Modellen die bleven zoeken, noemden extra objecten, zoals de tool die de storing kunstmatig had veroorzaakt of symptomen die tegelijk optraden, en die tellen als valse positieven. De kosten liepen sterk uiteen: Gemma 4 31B haalde 37% voor 0,14 dollar per taak, terwijl Opus 4.7 5,38 dollar per taak kostte.

Waarom blijven de scores achter bij de hype?

Beide benchmarks verschillen op dezelfde punten van de bekende tests:

• De bekende tests zijn makkelijker voor deze modellen. Op GDPval evenaart of verslaat GPT-5.4 experts in 83,0% van de vergelijkingen, wat de auteurs van JobBench bijna verzadigd noemen, en volgens Artificial Analysis scoren topmodellen op Terminal-Bench een stuk hoger dan op ITBench-AA.
• De taken vragen de agent om bronnen met elkaar te rijmen: bestanden die elkaar tegenspreken in JobBench, een volledige momentopname van een incident met veel symptomen in ITBench-AA.
• Half werk levert niets op. Een keten in JobBench faalt op één verkeerde stap, en een poging in ITBench-AA die één oorzaak mist, scoort nul.
• De opzet telt. Hetzelfde model scoort anders in andere agentsoftware, en meer beurten leveren geen betere diagnose op.

Wat betekent dit als je met agents bouwt?

Bij dit soort werk moet iemand de uitkomst van een agent nog controleren. De auteurs van JobBench concluderen dat agents nog steeds veel fouten maken in het professionele redeneerwerk dat experts het liefst uitbesteden. Test precies de combinatie van model en agentsoftware die je wilt gebruiken, op taken die op die van jou lijken, want een benchmarkscore beschrijft één opzet. Voor het evalueren van agents laten beide benchmarks zien hoe je streng beoordeelt: vaste controles per taak en geen punten voor een gelukstreffer.

In september 2026 toonden beide leaderboards hogere topscores: 65,7% voor Claude Opus 5 op het leaderboard van JobBench en 56,2% voor GPT-5.6 Sol op het leaderboard van ITBench-AA.