Belief-action decoupling splitst een AI-agent in tweeën. Het ene deel houdt een korte lijst bij van wat de agent over de situatie weet en hoe zeker hij van elk punt is; het andere kiest de volgende stap alleen op basis van die lijst. Het werkt als een klacht afhandelen vanuit een dossiersamenvatting die aangeeft wat vaststaat en wat nog onbekend is, in plaats van telkens de hele mailwisseling te herlezen.
Waar komt de term vandaan?
De term komt uit de titel van Agent-BRACE, een paper die onderzoekers van UNC Chapel Hill, Microsoft Research en de University of Texas at Austin op 12 mei 2026 op arXiv zetten (Singh e.a.). Het idee erachter is ouder. In een partially observable Markov decision process (POMDP), het klassieke model voor handelen zonder alles te zien, houdt de agent een belief state bij: een kansverdeling over de toestanden waarin de wereld kan verkeren. De beste strategie (policy) heeft alleen die belief nodig, niet de hele geschiedenis.
Waarom heeft een agent dit nodig?
Een AI-agent die op een taalmodel draait, leest meestal voor elke stap zijn hele geschiedenis opnieuw. Bij lange taken groeit die geschiedenis steeds verder, wat de kosten verhoogt en de feiten die ertoe doen verdunt, schrijven de auteurs (zie ook context rot). Een gewone samenvatting houdt de context kort, maar presenteert één versie van de wereld als feit. Agent-BRACE houdt de onzekerheid zichtbaar.
Hoe werkt het?
Agent-BRACE splitst één agent in twee modellen, die allebei vanuit hetzelfde basismodel beginnen:
- Het belief-model leest het doel, zijn vorige belief en de nieuwe waarneming, en schrijft een bijgewerkte belief: een lijst korte beweringen over de wereld. Elke bewering krijgt een label uit een schaal van zeven words of estimative probability, woorden voor waarschijnlijkheid: confirmed, almost certain, probable, possible, unlikely, doubtful of unknown. De belief mag geen plannen of volgende acties bevatten.
- Het policy-model ziet alleen die belief en kiest de volgende actie.
Beide worden samen getraind met reinforcement learning. Het policy-model krijgt een beloning als de taak slaagt. Het belief-model krijgt een beloning voor het opnemen van nieuwe feiten, voor beweringen die volgens een beoordelend model kloppen met de toestand van het spel, voor het gebruik van de hele schaal, voor een geldig formaat en voor het slagen van de taak.
Wat lieten de tests zien?
De auteurs gebruikten tekstadventures gebouwd met TextWorld (Quest, Treasure en Cooking) en twee kleine modellen, Qwen2.5-3B-Instruct en Qwen3-4B-Instruct. Alleen getraind op Quest loste Agent-BRACE gemiddeld 72,8% en 79,3% van de spellen op, 14,5 en 5,3 procentpunt meer dan de sterkste vergelijkingsagent die met reinforcement learning was getraind. De context bleef bijna even groot over maximaal 100 stappen, terwijl de context van agents die de ruwe geschiedenis lezen bij elke stap groeide. Op ALFWorld, een reeks huishoudtaken, haalde het 30,7%, 2,85 punt boven die vergelijkingsagent.
De labels doen ertoe. Met maar twee labels, confirmed en unknown, zakte het gemiddelde van het 4B-model van 79,3% naar 65,3%. In de loop van een spel steeg het aandeel beweringen met het label confirmed van 21% naar 52%, naarmate er meer bewijs binnenkwam.
Waar liggen de grenzen?
- De belief heeft per domein vaste vakken. In TextWorld zijn dat locatie, uitgangen, de toestand van objecten, inventaris en voortgang op subdoelen. Die dimensies automatisch vinden laat de paper aan later onderzoek over. Zonder opwarmtraining op voorbeeld-beliefs en zonder de domeinspecifieke prompt zakte het gemiddelde van 79,3% naar 69,3%.
- Het bewijs komt uit tekstspellen met kleine modellen. De paper test geen software-, web- of bedrijfstaken.
- Elke stap kost twee aanroepen van een model, en de training heeft een beoordelaar nodig die de echte toestand van de omgeving kent.
Voorbeeld
In een Cooking-spel uit de paper staat de agent in een voorraadkast met een gesloten deur naar het zuiden. Zijn belief markeert de uitgang naar het zuiden als possible en de plek van het kookboek als unknown. Na de actie "open plain door" zet het belief-model de zuidelijke uitgang op confirmed, terwijl het kookboek unknown blijft in plaats van dat het model iets verzint.