AI-orkestratie is het aan elkaar koppelen van meerdere AI-stappen tot één werkend proces. Een vraag van een klant aan een webwinkel kan een model nodig hebben dat herkent wat de klant wil, een zoekactie in het helpcentrum, een model dat het antwoord schrijft en een controle voordat het wordt verstuurd. De orkestratielaag bepaalt welke stap wanneer draait, geeft de informatie door en vangt fouten op.
Welke patronen zijn er?
Building effective agents van Anthropic (december 2024) beschrijft de patronen die Anthropic in de praktijk zag, van vaste workflows tot agents:
- Prompt chaining: elke stap verwerkt de uitvoer van de vorige, met controles tussendoor (prompt chaining).
- Routing: de invoer indelen en doorsturen naar een gespecialiseerde vervolgstap, bijvoorbeeld algemene vragen, terugbetalingen en technische support.
- Parallelisatie: een taak opsplitsen in onafhankelijke delen die tegelijk draaien, of dezelfde taak meerdere keren uitvoeren en de uitkomsten vergelijken.
- Orchestrator-workers: een centraal model deelt de taak op, geeft de delen aan uitvoerende modellen en voegt hun resultaten samen.
- Evaluator-optimizer: één model schrijft een antwoord, een ander beoordeelt het en geeft feedback, in een lus.
- Agents: het model bepaalt zelf zijn stappen en toolgebruik tot de taak klaar is (AI-agent).
Wie bepaalt de volgende stap: code of het model?
De documentatie van OpenAI's Agents SDK omschrijft orkestratie als de stroom van agents in een applicatie: welke agents draaien, in welke volgorde, en hoe de volgende stap wordt gekozen. Dat kan op twee manieren. Het taalmodel beslist, plant de taak, gebruikt tools en geeft delen door aan gespecialiseerde agents. Of je code legt de stroom vast, waardoor snelheid, kosten en prestaties voorspelbaarder worden. De twee zijn te combineren. LangGraph laat je bijvoorbeeld handgeschreven stappen en stappen die een taalmodel stuurt in één graaf mengen.
Als meerdere agents samenwerken (multi-agentsystemen), noemt de SDK twee gangbare patronen. Bij agents als tools houdt een manager-agent het gesprek en roept hij specialisten aan voor deeltaken. Bij handoffs geeft een triage-agent het gesprek door aan een specialist, die de gebruiker daarna zelf antwoordt.
Welke frameworks doen dit?
- LangGraph: een framework en runtime op laag niveau voor langlopende agents die hun toestand bewaren, met duurzame uitvoering en stappen waarin een mens meekijkt.
- Haystack (deepset): modulaire pipelines en agent-workflows met expliciete controle over ophalen, routing, geheugen en generatie.
- LlamaIndex Workflows: een event-gestuurde manier om de stroom te regelen, waarin elke stap een event ontvangt en het volgende teruggeeft.
- Semantic Kernel (Microsoft): kant-en-klare multi-agentpatronen zoals sequentieel, gelijktijdig, handoff en groepschat; in september 2026 noemt de documentatie deze functies nog experimenteel.
Waar gaat het mis?
- Elke stap kost tijd en geld. Anthropic merkt op dat prompt chaining snelheid inruilt voor nauwkeurigheid, en dat agentic systemen vaak snelheid en kosten inruilen voor betere resultaten.
- Frameworks kunnen verbergen wat er gebeurt. Volgens Anthropic kunnen extra abstractielagen de onderliggende prompts en antwoorden aan het zicht onttrekken en het debuggen bemoeilijken; het raadt aan te beginnen met de API van het model zelf en de code te begrijpen van elk framework dat je gebruikt. De documentatie van OpenAI voegt toe dat je de applicatie moet monitoren om te zien waar het misgaat, bijvoorbeeld door elke stap te traceren (AI-observability).
- Hoe meer vrijheid het model heeft, hoe meer fouten zich kunnen opstapelen. Anthropic raadt aan agents uitgebreid te testen in een afgeschermde omgeving, met guardrails.
Voorbeeld
Stel: een webwinkel automatiseert zijn klantenservice. Een classifier bepaalt of een bericht over een bestelling, een retour of een product gaat. Bij productvragen haalt een zoekstap de relevante helpartikelen op en schrijft een taalmodel daaruit het antwoord (RAG). Een guardrail controleert het concept voordat het de deur uitgaat. Klachten en alles waarover de classifier twijfelt, gaan naar een medewerker (human-in-the-loop). De orkestratie is de code of configuratie die deze stappen verbindt en bepaalt wat er gebeurt als een ervan faalt.