Waarom Real-World AI Agent Prestaties Achterblijven bij de Hype

Waarom de prestaties van AI-agents in de echte wereld achterblijven bij de hype

AI-agents zijn overal in 2026—of althans, dat is wat de krantenkoppen suggereren. Van coding assistants tot enterprise workflow-automatisering: artificiële intelligentiesystemen die autonome uitvoering beloven, overspoelen de markt. Maar onder de oppervlakte is een cruciale kloof ontstaan:state-of-the-art frontier-modellen slagen er consequent niet in om complexe, realistische enterprise-taken in meer dan de helft van de gevallen succesvol af te ronden.

Dit is de Real-World Agent Reliability Gap, en twee baanbrekende evaluatiekaders die deze week zijn uitgebracht—JobBench en ITBench-AA—hebben deze kloof nauwkeurig gekwantificeerd.

De belofte versus de realiteit

Een basisprototype van een AI-agent bouwen is bedrieglijk eenvoudig. Wikkel een LLM zoals GPT-5 of Claude Opus 4.7 in een function-calling-laag, geef het toegang tot een paar tools, en ineens heb je een systeem datautonoomlijkt. In gecontroleerde demo’s maken deze agents indruk—ze schrijven e-mails, doen databasequeries en genereren zelfs codefragmenten op commando.

Maar zodra ze in productieomgevingen worden ingezet, valt de façade uiteen. Agents in de echte wereld moeten omgaan met:

• State management over multi-step workflowswaar de context verslechtert over tientallen interacties
• Defecte of geratelimiteerde API’sdie zorgvuldige foutafhandeling en retry-logica vereisen
• Randgevallen en dubbelzinnige instructiesdie niet in de trainingsdata voorkwamen
• Persistente geheugenvereistenom doelen over sessies heen te volgen
• Coördinatie tussen meerdere agentswanneer taken meerdere gespecialiseerde systemen beslaan

Zoals een Reddit-ontwikkelaar hetverwoordde: "Ik bouwde voor het eerst een AI-agent. Het was niet wat ik verwachtte." De kloof tussen een werkend prototype en een betrouwbaar productiesysteem is enorm—en de industrie heeft die systematisch onderschat.

JobBench: Wat mensen écht geautomatiseerd willen hebben

Traditionele AI-benchmarks zoals HumanEval of MMLU meten smalle capaciteiten—kan het model een codepuzzel oplossen of een trivia­vraag beantwoorden? Maar deze benchmarks weerspiegelen niet de rommelige, meerstaps-workflows die bedrijven in de praktijk geautomatiseerd willen hebben.

JobBench verandert dit.Gepubliceerd op 25 mei 2026, beoordeelt JobBench AI-agents over130 realistische enterprise-workflowsdie mensen expliciet prioriteren om te delegeren. Dit zijn geen academische oefeningen—het zijn taken afkomstig uit echte functieprofielen:

• Het opstellen van een kwartaalrapportage door interne databases te bevragen en trends samen te vatten
• Het coördineren van een cross-functionele meeting door meerdere agenda’s te controleren en uitnodigingen te versturen
• Het triageren van customer-supporttickets en deze door te zetten naar de juiste afdeling
• Het uitvoeren van concurrentieanalyse door publieke data te scrapen en strategische inzichten te genereren

De resultaten waren ontnuchterend. Zelfs de sterkste frontier-modellen—Claude Opus 4.7, GPT-5.5 en Gemini 3.5 Ultra—behaalden minder dan 50% op end-to-end taakvoltooiing. Veel workflows liepen vast bij de derde of vierde stap wanneer de agent een onverwachte API-respons tegenkwam of er niet in slaagde de tussenliggende status correct bij te houden.

Waarom JobBench ertoe doet

JobBench legt een fundamentele misalignment bloot: AI-labs hebben geoptimaliseerd voor benchmark-scores op geïsoleerde taken, terwijl enterprises agents nodig hebben die kunnen omgaan metlangdurige, stateful, multi-turn executie. Een model kan uitblinken in het opstellen van een enkele e-mail (een taak van 1 stap), maar volledig falen wanneer het wordt gevraagd om:

1. Zoek naar relevante context in interne documentatie
2. Stel de e-mail op
3. Wacht op een reactie
4. Werk een CRM-record bij op basis van de reactie
5. Plan indien nodig een vervolgoverleg in

Elke extra stap vergroot de kans op falen. En in tegenstelling tot een mens, die kan improviseren wanneer een tool uitvalt, stoppen de meeste agents gewoon of produceren ze onzinnige output.

ITBench-AA: Kubernetes Incident Response onder druk

Waar JobBench zich richt op breedte, ITBench-AA (Infrastructure Troubleshooting Benchmark for Autonomous Agents) test diepte—specifiek: hoe goed AI-agents complexe Kubernetes-infrastructuurincidenten kunnen diagnosticeren en oplossen.

Gepubliceerd naast JobBench op 25 mei 2026, simuleert ITBench-AA echte IT-chaos:

• Een pod crasht door een verkeerd geconfigureerde resource limit
• Een service is onbereikbaar door een conflict in network policies
• Een deployment faalt door een ImagePullBackOff-fout
• Meerdere cascaderende storingen in microservices

Menselijke site reliability engineers (SRE’s) excelleren in dit soort scenario’s omdat ze causaal redeneren: ze volgen logs, inspecteren de clusterstatus, vormen hypotheses en testen die iteratief. AI-agents daarentegen:

• Vertrouwen te veel op patroonherkenning zonder de onderliggende oorzaken te begrijpen
• Raken verdwaald in observability-ruis, en kunnen geen onderscheid maken tussen signaal en irrelevante log-spam
• Hebben geen debugging-intuïtie, en voeren herhaaldelijk hetzelfde falende commando uit in plaats van alternatieven te proberen
• Slagen er niet in context vast te houden over de verschillende stappen van het onderzoek heen, waardoor ze vergeten wat al is uitgesloten

Op ITBench-AA losten zelfs de beste modellenminder dan 40% van de incidenten autonoom op. Bij de meest complexe multi-service storingen daalden de succescijfers tot enkele procenten.

Waar komt deze kloof vandaan?

De Real-World Agent Reliability Gap komt voort uit drie structurele problemen:

1. Trainingsdata dekt de chaos in productie niet

Grote taalmodellen worden getraind op internetteksten—StackOverflow-antwoorden, GitHub-repos, documentatie. Maar productieomgevingen zijn rommeliger:

• Interne API’s met inconsistente foutmeldingen
• Legacy-systemen met niet-gedocumenteerd gedrag
• Rate limits, throttling en tijdelijke netwerkstoringen
• Proprietary tools die nergens in de trainingscorpus voorkomen

Modellen hallucineren zelfverzekerd klinkende antwoorden omdat ze de specifieke faalmodus nooit in de training zijn tegengekomen.

2. Agents zijn probabilistisch, niet deterministisch

Een traditioneel softwaresysteem werkt of het werkt niet. Een AI-agent daarentegen opereert in eenprobabilistisch regime—elke beslissing is een gewogen steekproef uit een distributie. Dit betekent:

• Dezelfde prompt kan bij verschillende runs verschillende outputs opleveren
• Subtiele veranderingen in formulering kunnen gedrag drastisch beïnvloeden
• Zeldzame edge-cases worden inconsistent afgehandeld

Enterprises verwachten 99,9% betrouwbaarheid. Agents leveren momenteel 40–50%.

3. Langdurige taken vereisen architectuur, niet alleen intelligentie

Een betrouwbare agent bouwen draait niet alleen om een slimmer model gebruiken—het gaat om het engineeren van de scaffolding:

• State machines om voortgang te volgen en na fouten te hervatten
• Tool call validatie om gehallucineerde functie-argumenten op te vangen
• Human-in-the-loop checkpoints voor beslissingen met hoge inzet
• Observability-instrumentatie om te debuggen wanneer er iets misgaat
• Fallback-strategieën wanneer primaire tools niet beschikbaar zijn

Zoals een ontwikkelaar opmerkte op Reddit: "Probe-driven development voor coding agents"—het idee dat agents elke stap iteratief testen en verifiëren—is essentieel voor betrouwbaarheid.

Wat dit betekent voor 2026 en daarna

De Real-World Agent Reliability Gap is geen doodvonnis voor autonome AI—het is een realiteitscheck. Dit is wat er moet gebeuren:

Voor AI-labs

• Ontwikkel betere benchmarks die multi-step, stateful, long-horizon workflows weerspiegelen
• Train op robuustheid, niet alleen op capaciteit—modellen moeten storingen soepel kunnen opvangen
• Investeer in agent-evaluatie-infrastructuur die betrouwbaarheid in de tijd meet, niet alleen eenmalige nauwkeurigheid

Voor enterprises

• Zet nog geen volledig autonome agents in voor bedrijfskritische taken
• Begin met co-pilot-architecturen waarbij mensen hoog-risicoacties goedkeuren
• Instrumenteer alles zodat je kunt debuggen wanneer agents falen (en dat zullen ze)
• Stel realistische verwachtingen bij stakeholders—agents zijn assistenten, geen vervangers

Voor developers

• Focus op agent engineering, niet alleen prompt engineering
• Bouw state management en retry-logica in je harnesses
• Gebruik gestructureerde outputs (JSON-schemas, tool call-validatie) om modelgedrag te begrenzen
• Test tegen adversarial inputs en edge cases vóór productie

De weg vooruit

JobBench en ITBench-AA zijn de eerste rigoureuze, enterprise-gebaseerde evaluaties van de betrouwbaarheid van AI-agents—en ze onthullen een ontnuchterende waarheid: we zijn nog niet klaar voor volledig autonome workflows. Maar dat betekent niet dat agents nutteloos zijn. Ze zijn juist enorm waardevol als augmentatietools—systemen die de saaie 80% afhandelen terwijl mensen de kritieke 20% bewaken.

De vraag is niet "wanneer vervangen agents werknemers?" maar "hoe ontwerpen we systemen waarin agents en mensen betrouwbaar samenwerken?"

Het antwoord, zoals deze benchmarks laten zien, ligt niet in wachten op GPT-6 of Claude 5, maar in betere scaffolding, betere evaluatie en een betere engineeringdiscipline opbouwen rond de modellen die we al hebben.

---

Bronnen:

• JobBench-paper: arXiv:2605.26329
• ITBench-AA-paper: arXiv:2605.26330
• Reddit-discussie: r/AI_Agents