JobBench

JobBench is een test uit mei 2026 die meet hoe goed AI-agents (software die zelfstandig een taak uitvoert) het werk aankunnen dat professionals het liefst uitbesteden, zoals een journalist die feiten in verschillende bronnen naloopt. De test bestaat uit 130 taken uit 35 beroepen. Bij de start haalde de beste agent 45,9%, dus bij dit soort werk moet iemand de uitkomst van een agent nog controleren.

Waar komen de taken vandaan?

Volgens de auteurs kiezen bestaande benchmarks voor werkagents, zoals GDPval van OpenAI (2025), hun taken vooral op economische waarde. JobBench, van onderzoekers van de University of Washington en andere instellingen (Li e.a.), gaat uit van wat werkenden zelf willen uitbesteden. De basis is WorkBank (Shao e.a., 2025), een enquête waarin 1.500 werkenden per taak aangaven of ze die graag door een AI-agent zouden laten overnemen.

De auteurs kozen 35 beroepen waarin de gemiddelde wens om uit te besteden boven de 3 lag op een schaal van 5, en waarin samen veel loon wordt betaald. Daaronder vallen journalisten, klantenservicemedewerkers, boekhoudkundig medewerkers, onlinewinkeliers en advocaten. Experts die via Prolific en Upwork waren geworven, schreven de taken, die met hulp van AI werden uitgewerkt en drie controles moesten doorstaan. Dat leverde een hoofdset van 65 taken op en een makkelijkere set van 65.

Hoe ziet een taak eruit?

Elke taak is een map met een opdracht, de op te leveren stukken en referentiebestanden: gemiddeld 3,9 en maximaal 15, in formaten als CSV, PDF en Excel. De bestanden kunnen elkaar tegenspreken, en de agent moet de juiste bronnen vinden en met elkaar rijmen. In het journalistenvoorbeeld uit de paper vergelijkt de agent gegevens over waterkwaliteit, richtlijnen van de EPA en gezondheidsdata over meerdere jaren voordat hij een redactioneel pakket samenstelt. In de hoofdset komt 51,7% van de bestanden uit echte openbare registers; de rest is synthetisch.

Hoe wordt er gescoord?

Elke taak heeft ketens van ja/nee-controles, gemiddeld 35,6 per taak en 4.631 in totaal, die elk vastzitten aan een getal, een redeneerstap of een vastgelegd professioneel oordeel. Een keten levert pas punten op als elke controle erin slaagt, dus het juiste feit via een verkeerde redenering levert niets op. Een taalmodel beoordeelt het werk: standaard Grok 4.1 Fast, gecontroleerd met Claude Opus 4.5, en de scores van die twee lagen binnen 0,7 punt van elkaar.

Wat waren de resultaten?

De auteurs testten 36 combinaties van model en agentsoftware (Claude Code, Codex CLI, OpenCode en OpenClaw). Op de hoofdset scoorde Claude Opus 4.7 in Claude Code 45,9%, GPT-5.5 in Codex CLI 42,7% en GPT-5.4 in Codex CLI 38,9%. Buiten de families Claude en GPT kwam geen enkele combinatie boven 19%. Op GDPval evenaart of verslaat GPT-5.4 het werk van experts in 83,0% van de vergelijkingen; de auteurs noemen die test bijna verzadigd. Ook de agentsoftware telt: Claude Sonnet 4.6 scoorde 36,9% in Claude Code en 30,6% in OpenClaw. Een volledige run van de hoofdset kostte tegen de standaardprijzen van de aanbieders tussen 32 en 210 dollar. In september 2026 toonde het leaderboard van het project een hogere topscore: 65,7% voor Claude Opus 5.

Wat laat het niet zien?

De scores beschrijven de modellen en agentsoftware van het voorjaar van 2026. De beroepen en taken komen uit de Amerikaanse O*NET-database, en een taalmodel doet de beoordeling. JobBench is één manier om AI-agents te evalueren; de paper noemt GDPval, de Remote Labor Index en $OneMillion-Bench als andere. De evaluatiecode staat openbaar op GitHub.