Trajectory refinement

Trajectory refinement verbetert het plan van een AI-agent door het te vergelijken met wat er gebeurde toen de agent het uitvoerde, en de stappen te repareren die misgingen. Het traject is de reeks stappen die een agent zet: zoeken, tools aanroepen, beslissen. Stel dat een agent een zakenreis plant en een museumbezoek boekt voordat het museum opengaat. Refinement ziet die botsing en herstelt dat deel voordat jij het plan krijgt.

Waar komt de term vandaan?

Agents die leren van feedback in woorden bestaan al langer. In Reflexion (Shinn e.a., 2023) reflecteert een AI-agent in tekst op een mislukte poging en bewaart hij die notities voor de volgende poging, zonder dat het model verandert. De term zelf staat in de titel van PIVOT (Plan-Inspect-eVOlve Trajectories), een framework van vijf onderzoekers van Amazon, gepubliceerd op 11 mei 2026 (Zhang e.a.). Zij vertrekken vanuit wat ze plan-execution misalignment noemen: agents schrijven plannen die samenhangend lijken en falen dan op onuitvoerbare acties, geschonden randvoorwaarden of fouten die zich over een lange taak opstapelen.

Hoe werkt PIVOT?

PIVOT behandelt het hele traject als iets om te optimaliseren, in vier fasen:

1. Plan: de agent zet de taak om in een expliciet traject en begint het uit te voeren.
2. Inspect: de agent vergelijkt wat er gebeurde met het plan, zoekt de eerste stap vanaf waar de uitvoering het plan niet meer ondersteunt, en schrijft in gewone taal op wat er misging. De auteurs noemen dat een tekstuele gradiënt, een term uit TextGrad (2024). Die feedback komt van een mens (human-in-the-loop) of, in de autonome variant, van een taalmodel dat als beoordelaar optreedt.
3. Evolve: de agent herschrijft het traject vanaf die stap en houdt het deel dat werkte. Een herziening wordt alleen geaccepteerd als die het geschatte resultaat verbetert, zodat de kwaliteit nooit achteruitgaat.
4. Verify: een laatste controle van het hele plan tegen de randvoorwaarden van de taak.

Het model zelf wordt niet opnieuw getraind. Het artikel legt ook uit waarom dit helpt: het denkbudget van het model verhogen van 1.024 naar 3.072 tokens leverde geen consistente winst op, omdat het model aan het begin nadacht en bijna niet meer bij het samenstellen van het eindplan. PIVOT laat het op meerdere momenten onderweg redeneren.

Wat leverde het op?

De auteurs testten PIVOT met Qwen3-235B en vier Claude-modellen op DeepPlanning, dat meerdaagse reisplannen en productkeuzes binnen een budget en andere randvoorwaarden vraagt, en op GAIA, open vragen waarvoor zoeken op het web en tools nodig zijn. Met menselijke feedback scoorde PIVOT in elke combinatie het best, en de auteurs melden tot 94% relatieve verbetering in het naleven van randvoorwaarden, wat ze als bovengrens presenteren. Zonder menselijke feedback versloeg het gewone ReAct (één doorloop van redeneren en toolgebruik) in alle 20 combinaties en de sterkste andere methode in 12. Op DeepPlanning gebruikte het per opgeloste taak 3 tot 5 keer minder extra tokens dan concurrerende verfijningsmethoden.

Waar liggen de grenzen?

• Verfijning is zo goed als de tools. Op GAIA leverden dezelfde tools bij een nieuwe aanroep vaak hetzelfde bewijs op, waardoor verfijnen neerkwam op gewoon opnieuw proberen.
• De grootste winst kwam met menselijke feedback. Zonder die feedback deed een zelfkritiekmethode met ingebouwde domeinkennis het beter in 8 van de 20 combinaties.
• Het bewijs komt uit benchmarks. De auteurs pleiten voor evaluatie in de praktijk, buiten gecontroleerde tests.

Voorbeeld

In een geval uit het artikel, zonder menselijke feedback, wilde iemand die alleen reist een dagtrip van Hangzhou naar Shaoxing met de vroegste trein, het goedkoopste Home Inn en een maaltijd bij de Bazhi-brug in een restaurant met een wachtruimte. Het plan van de basisagent bezocht de bezienswaardigheid Lu Xun's Hometown om 08:23, zeven minuten voordat die opengaat, en miste de eis voor het restaurant. Met PIVOT zette de inspectie elke randvoorwaarde op een checklist, markeerde die fouten en een gat in de reisplanning, en bouwde het plan opnieuw op. De samengestelde score van de benchmark ging van 0,375 naar 1,000.