ITBench-AA is een test die meet hoe goed AI-agents de oorzaak van een IT-storing vinden. Elke taak is een momentopname van een storing in Kubernetes, software waarmee veel bedrijven hun webapplicaties op servers draaien. De agent doorzoekt de meldingen en logs en moet precies aanwijzen wat het probleem veroorzaakte. Bij de lancering in mei 2026 scoorde het beste model 47%.
Wie heeft het gemaakt?
Artificial Analysis, een bedrijf dat AI-modellen benchmarkt, publiceerde ITBench-AA op 27 mei 2026 samen met IBM (aankondiging). Het is de eigen uitvoering door Artificial Analysis van IBM's ITBench uit februari 2025. Die benchmark had 94 scenario's in drie gebieden: site reliability engineering (SRE), het werk dat productiesystemen draaiende houdt; compliance en beveiliging (CISO); en beheer van cloudkosten (FinOps). In het ITBench-paper losten agents 13,8% van de SRE-scenario's op, 25,2% van de CISO-scenario's en geen enkel FinOps-scenario. ITBench-AA begint met SRE; taken voor FinOps en CISO volgen later.
Wat moet een agent doen?
Er zijn 59 taken: 40 openbare en 19 nieuwe die geheim blijven. Elke taak is een momentopname van een Kubernetes-incident met meldingen, events, traces, metrics, logs en de topologie van de applicatie. De storingen omvatten uitgeputte resourcequota, mislukte rollouts, uitgeputte connection pools en netwerkpartities. De agent onderzoekt de momentopname met shellcommando's en levert de kleinste set Kubernetes-objecten in, zoals Deployments, Services of Pods, die het incident veroorzaakten. De momentopname is offline, dus de agent stelt een diagnose en repareert niets.
Hoe wordt er gescoord?
Elk model draait in dezelfde opensource-agentsoftware, de Stirrup-harness van Artificial Analysis, met shelltoegang tot een sandbox, hooguit 100 beurten en drie pogingen per taak. De score is streng. Een poging die een van de echte oorzaken mist, scoort nul. Een poging die ze allemaal vindt, scoort het aandeel van de genoemde objecten dat echt een oorzaak is. De hoofdscore is het gemiddelde over de 59 taken en drie pogingen.
Hoe scoorden de modellen?
Bij de lancering stond Claude Opus 4.7 bovenaan met 47%, voor GPT-5.5 met 46% en Qwen3.7 Max met 42%. Het beste open-weightsmodel, GLM-5.1, haalde 40%, gelijk met Gemini 3.5 Flash, en Gemini 3.1 Pro Preview scoorde 30%. Langer doorwerken hielp niet: GPT-5.5 had gemiddeld 31 beurten per taak nodig, Gemini 3.1 Pro Preview 83. Modellen die bleven zoeken, noemden extra objecten, zoals de tool die de storing had ingebracht of symptomen die tegelijk optraden, en die tellen als fout-positieven. De kosten liepen van $0,14 per taak voor Gemma 4 31B, dat 37% scoorde, tot $5,38 voor Claude Opus 4.7. In september 2026 toonde het klassement een hogere topscore: 56,2% voor GPT-5.6 Sol.
Wat meet het niet?
- Het gaat alleen over SRE: in september 2026 toont het klassement nog steeds alleen de SRE-taken.
- Het meet alleen de diagnose op basis van een momentopname; een draaiend systeem repareren hoort er niet bij.
- De scores vergelijken modellen binnen één harness en zeggen minder over agentproducten met hun eigen tools.
Het artikel Waarom blijven AI-agents bij echt werk achter bij de hype? vergelijkt ITBench-AA met JobBench.
Voorbeeld
In een van de openbare taken zien gebruikers fouten in de frontend van een demo-applicatie. De agent bekijkt de meldingen om te zien wanneer het incident begon, beperkt de fout met traces en logs tot het frontendverkeer, vindt de getroffen services in de topologie en ontdekt in de Kubernetes-manifesten een netwerkpolicy die de frontend blokkeert. Het juiste antwoord is dat ene object, otel-demo/NetworkPolicy/frontend-block-all-ports. Wie ook de falende frontendservice noemt, halveert de score voor die poging, want die service is een symptoom.