Waarom gaan AI-agent-loops mis, en hoe kunnen state machines helpen?

Loops van AI-agents gaan vaak mis als het model alles zelf beslist: welke tool het nu aanroept, wanneer het opnieuw probeert en wanneer het stopt. Drie projecten uit mei 2026 verplaatsen die beslissingen naar gewone code. Statewright zet een codeeragent in een state machine die per fase bepaalt welke tools mogen. CAX-Agent, een harness voor technische simulaties, laat zijn orchestrator herhalingen en stopmomenten bepalen. Een studie uit de maakindustrie legt domeinregels vast in de toollaag. De resultaten zijn veelbelovend, en de tests erachter zijn klein.

Wat gaat er mis in een open agent-loop?

In een gewone agent-loop leest een taalmodel de taak, kiest een tool, leest het resultaat en beslist wat het daarna doet, tot het denkt dat het klaar is. De makers van deze projecten beschrijven waar dat breekt:

• De README van Statewright (13 mei 2026): geef een model 40 of meer tools en een open probleem, en het komt nauwelijks op gang. Modellen raken in loops waarin ze hetzelfde bestand vijf keer of vaker lezen zonder het ooit aan te passen.
• CAX-Agent (12 mei 2026): taalmodellen die eindige-elementensimulaties in de technische software MAPDL automatiseren, leveren wisselende uitvoer en falen vaak als niets de uitvoering bewaakt, de tools afschermt of fouten herstelt.
• The Semantic Training Gap (11 mei 2026): agents in de maakindustrie gebruiken de juiste woorden, maar zitten fout in de operationele details. Met vrij in te vullen toolparameters was 43% van de domeincodes in 72 tool-aanroepen verzonnen.

Instructies in de prompt helpen, maar het model volgt ze met een bepaalde kans. Stel, als illustratie, dat een model een regel in 95% van zijn tool-aanroepen respecteert, en dat elke aanroep een onafhankelijke kans is. De kans dat het de regel in 100 aanroepen nooit breekt, is 0,95 tot de macht 100: ongeveer 0,6%.

Wat is een deterministische agent state machine?

Een deterministische agent state machine beschrijft een workflow als een klein aantal benoemde toestanden, zoals plannen, implementeren en testen. Elke toestand legt vast welke tools de agent mag gebruiken, hoeveel pogingen hij krijgt en naar welke toestanden hij mag overgaan. Een programma toetst elke tool-aanroep aan de huidige toestand voordat hij wordt uitgevoerd, en daar komt geen taalmodel aan te pas. Statewright vat het samen als "agents are suggestions, states are laws". Anders dan een gerichte acyclische graaf (DAG) kan een state machine terugspringen, zodat een mislukte test de agent terugstuurt naar implementeren.

Hoe dwingt Statewright de fasen af?

Ben Cochran presenteerde Statewright op 12 mei 2026 op Hacker News. De kern is een engine in Rust die toestanden, overgangen, voorwaarden en toolbeperkingen evalueert. Een pluginlaag koppelt die aan de codeeragent via MCP en hooks, zodat het model ongeveer 5 tools ziet in plaats van 30. De voorbeeldworkflow voor een bugfix in de README:

• Plannen: alleen Read, Grep en Glob, voor hoogstens 8 iteraties.
• Implementeren: Read, Edit en Write, met hoogstens 20 gewijzigde regels per bewerking en 3 bestanden per toestand.
• Testen: Read en Bash, beperkt tot commando's als pytest, cargo test en npm test. Geslaagde tests leiden naar de eindtoestand, mislukte tests terug naar implementeren.

Een aanroep van een tool buiten de huidige toestand wordt geweigerd, met een melding welke tools beschikbaar zijn en hoe de agent verder kan. In toestanden zonder schrijfrechten zijn ook shell-redirects, destructieve commando's als rm en scriptinterpreters geblokkeerd. Overgangen kunnen wachten op goedkeuring door een mens.

Op 13 mei noemde de README harde handhaving voor Claude Code, alfaversies voor Codex, opencode en Pi, en voor Cursor alleen adviserende regels, omdat MCP daar tool-aanroepen niet kan tegenhouden. Cochrans eigen test gebruikte vijf taken uit SWE-bench: twee lokale modellen van 13,8 GB en 19,9 GB gingen met de beperkingen van 2 op 10 geslaagde pogingen naar 10 op 10. Onder ongeveer 13 GB konden modellen de tools wel aanroepen, maar niet genoeg van een bestand onthouden om het goed aan te passen. De engine valt onder Apache 2.0, en een gehoste dienst met een gratis versie bewaart workflows en runs.

Wat voegen CAX-Agent en de studie uit de maakindustrie toe?

CAX-Agent, van Chenying Lin en collega's, zet een orchestrator tussen het model en de simulatiesoftware. Die orchestrator beheert het budget voor herhalingen, het aanroepen van tools en de stopmomenten, en het model stelt de reparaties voor. De auteurs vergeleken drie herstelstrategieën op 50 eenvoudige constructieve benchmarks, elk drie keer, blind beoordeeld door twee mensen. Het model een mislukt script laten herschrijven op basis van de foutmelding, met hoogstens drie afgedwongen herhalingen, rondde 92,7% van de runs af. Vier vaste reparatieregels haalden 77,3%, en zonder herstel was het 69,3%. In deze test werkte de combinatie het best: een harness die het budget bewaakt en een model dat de reparaties doet.

De studie van Grama Chethan bouwt de ontologie van de fabriek, de relaties tussen machines, procesparameters, foutcodes en regels, als getypeerde configuratie in de laag met tools in, en dwingt die tijdens het draaien af. In de test met 72 tool-aanroepen van Qwen3-32B in zes industriële opstellingen daalde het aandeel verzonnen codes van 43% naar 0%. De auteur noemt het onderliggende probleem de semantic training gap.

Hoe zie je wat een agent echt deed?

Logs tonen achteraf welke tools een agent aanriep; een state machine houdt de aanroep vooraf tegen. Torrix, op 13 mei 2026 gepresenteerd op Hacker News, is een self-hosted tool voor AI-observability die elke LLM-aanroep via een proxy of SDK vastlegt, met tokens, kosten, latency en volledige prompttraces. De README van Statewright maakt hetzelfde onderscheid: observability laat achteraf zien wat er misging, en voorkomt het niet.

Wat zijn de nadelen?

De README van Statewright noemt ze zelf. De agent moet MCP of hooks ondersteunen, en iemand moet de workflows schrijven, al kan een agent ze ook genereren. Een te strenge workflow laat de agent vastlopen, en een deactivate-commando is de nooduitgang. De resultaten komen uit een deelverzameling van vijf taken uit SWE-bench, dat in totaal 2.294 taken telt.

Op Hacker News wees een reageerder op de kosten van caching: als de lijst met tools vaak verandert, gaat de prompt cache verloren. De documentatie van Anthropic bevestigt dat een wijziging in tooldefinities de hele cache ongeldig maakt. Een week na de lancering, op 20 mei 2026, meldde Cochran dat de engine- en agent-crates volledig open waren onder Apache 2.0 en lokaal draaiden met Ollama en modellen vanaf 13B parameters.