Hoe kunnen multi-agent AI-systemen van hun fouten leren zonder hertraining?

In mei 2026 publiceerden onderzoekers van onder meer Oregon State University en Johnson & Johnson EVOCHAMBER, een framework waarin een groep AI-agents blijft leren van zijn fouten terwijl het taalmodel zelf ongewijzigd blijft. Na een mislukte of omstreden taak reflecteren de agents samen en geven sterke agents hun lessen door aan zwakke. Met het open model Qwen3-8B steeg de nauwkeurigheid op moeilijke wiskundeopgaven zo naar 63,9%, tegen 48,4% voor de beste vergelijkbare methode. De prijs is ongeveer 3,6 keer de rekenkracht van één agent.

Waarom vergeten teams van agents wat ze leren?

In een multi-agentsysteem werken meerdere instanties van een taalmodel samen aan een taak, elk met een eigen rol. Volgens de paper over EVOCHAMBER delen frameworks als AutoGen, MetaGPT en CAMEL rollen uit, maar groeit de kennis van de agents niet mee met nieuwe taken. Geheugenmethoden als Reflexion en ExpeL verbeteren één agent tegelijk. MemCollab geeft alle agents hetzelfde geheugen, en daarmee verdwijnen de verschillen die een team nuttig maken. Methoden die agents samen trainen met reinforcement learning hebben updates van de gewichten nodig en liggen vast zodra ze in gebruik zijn.

De auteurs van Solvita, een verwant systeem voor programmeerwedstrijden, stellen hetzelfde: multi-agentframeworks houden geen toestand bij en gooien de ervaring met oplossen en debuggen uit eerdere taken weg.

Hoe ontwikkelt EVOCHAMBER een team?

EVOCHAMBER past prompts, geheugens, teams en de samenstelling van de groep aan, nooit de gewichten van het model. De auteurs noemen dat test-time co-evolution en laten het op drie niveaus werken:

• Individueel: na elke taak schrijft elke agent een les voor dat type taak (een "niche") en een algemeen inzicht, en haalt de meest vergelijkbare lessen de volgende keer terug in zijn prompt. Hij houdt ook per niche een competentiescore bij.
• Team: voor elke taak kiest een selector drie agents. De anchor is de beste agent op die niche en leidt ook. De complement vult aan wat de anchor mist, en de scout is een agent met weinig ervaring op die niche, zodat de groep divers blijft. De leider kiest hoe het team werkt: stemmen, debatteren, een generator met een criticus, of de taak opsplitsen.
• Populatie: na mislukkingen verplaatst CoDream kennis tussen agents. Om de zoveel taken kopiëren lifecycle-operators sterke agents met een specialistischer persona, voegen ze bijna identieke agents samen, verwijderen ze achterblijvers en maken ze nieuwe agents voor taaktypen die niemand dekt.

In de experimenten begint de groep met 20 identieke agents en teams van drie.

Wat gebeurt er in een CoDream-sessie?

CoDream (collaborative dreaming) begint als een team faalt: de gemiddelde score zakt onder een drempel, of de leden zijn het oneens. De drie leden doorlopen dan vijf fasen:

1. Reflect: elk lid analyseert zijn eigen poging.
2. Contrast: leden die faalden, worden gekoppeld aan leden die slaagden, om te zien wat de geslaagde aanpak anders deed.
3. Imagine: die verschillen worden mogelijke strategieën, met de niches waarop ze van toepassing kunnen zijn.
4. Debate: de leden bekritiseren elkaars voorstellen en laten de zwakke vallen.
5. Crystallize: de overgebleven voorstellen worden gestructureerde inzichten, elk met een bereik: één taak, een subdomein of alle domeinen.

Elk inzicht gaat alleen naar agents met een competentie op die niche onder de mediaan van de groep. Sterke agents produceren kennis en zwakke agents ontvangen die, zodat specialisten specialist blijven. Elk inzicht naar elke agent sturen, zoals MemCollab doet, verwatert die specialisatie.

Wat lieten de experimenten zien?

De auteurs testten EVOCHAMBER met Qwen3-8B op drie reeksen taken:

• Moeilijke wiskunde (382 opgaven uit MATH en AIME 2022 tot en met 2025): 63,9%, tegen 48,4% voor MemCollab (relatief 32% beter) en 29,8% voor één agent.
• Code (MBPP+ en CodeContests): 75,7% in totaal. Op het moeilijkste deel, CodeContests, haalt het 35,2% tegen 6,8% voor één agent.
• Zes domeinen in blokken van 100 taken, van GSM8K tot DROP: 87,1%, tegen 84,0% voor de op een na beste methode.

Zonder CoDream gaat het meeste verloren: op de reeks met zes domeinen zakt de nauwkeurigheid van 87,1% naar 76,3%. Een andere volgorde van de wiskundetaken deed geen kwaad (65,5% en 66,2%). Met GPT-4.1-mini als model is de winst ten opzichte van één agent kleiner: 10,7 punt op moeilijke wiskunde (34,1 met Qwen3-8B) en 1,9 punt op de zes domeinen. Uit 20 identieke agents ontstaan in elk van drie runs vier tot vijf vaste specialisten, maar welke agent specialist wordt, hangt af van de random seed.

Waar duikt het idee nog meer op?

Solvita (14 mei 2026) past het toe op wedstrijdprogrammeren. Vier agents, een Planner, Solver, Oracle en Hacker, krijgen elk een trainbaar kennisnetwerk in de vorm van een graaf. Uitslagen van geslaagd of gezakt en de zwakke plekken die de Hacker vindt, passen die netwerken aan via reinforcement learning, terwijl het taalmodel ongewijzigd blijft. Volgens de auteurs verslaat Solvita bestaande multi-agentpijplijnen op CodeContests, APPS, AetherCode en live Codeforces-rondes, en verdubbelt het bijna de nauwkeurigheid van baselines die in één poging werken.

Een veel kleiner experiment draait op bescheiden hardware zonder GPU. flux-genotype, dat een ontwikkelaar op 18 mei 2026 op Reddit presenteerde als alfaversie, draait lokale modellen via Ollama op een CPU. Een beoordelend model geeft elk antwoord een score, en zakt die onder ongeveer 0,618, dan herschrijft een derde model het architectuurbestand van het systeem. In één run verving het zo de beoordelaar zelf, Llama 3.2, door DeepSeek-Coder 6.7B.

Wat zijn de grenzen?

EVOCHAMBER gebruikt ongeveer 3,6 keer de rekenkracht van één agent bij het draaien, wat volgens de auteurs te veel kan zijn waar snelheid telt, al doet het beter dan stemmen door vijf agents met 72% van de tokens van die methode. Het is getest met twee modelfamilies, op reeksen van hoogstens 600 taken, en de lifecycle-operators werken met vaste drempels. De auteurs noemen langere reeksen taken, sterkere modellen en inzichten die verouderen als open vragen. De code staat op GitHub onder de MIT-licentie.