Inference-time co-evolution

Inference-time co-evolution beschrijft een team AI-agents dat beter wordt in zijn werk terwijl het in gebruik is, zonder dat het AI-model opnieuw wordt getraind. Denk aan nieuwe collega's die allemaal gelijk beginnen: na een mislukte klus geeft degene die goed is in dat soort werk een tip door, en na verloop van tijd wordt ieder het aanspreekpunt voor één soort taak. In mei 2026 was dit nog laboratoriumonderzoek.

Waar komt de term vandaan?

Onderzoekers noemen het moment waarop een getraind model wordt gebruikt "test time"; in de praktijk is dat inferentie. Twee papers zetten "test-time co-evolution" in mei 2026 in hun titel: TacoMAS op 10 mei en EVOCHAMBER op 11 mei. TacoMAS concludeert dat inferentie in een multi-agent-systeem een proces van co-evolutie in de tijd is. Co-evolutie betekent dat twee dingen samen veranderen: wat elke agent weet, en hoe de agents samenwerken. Het artikel over test-time co-evolution behandelt hetzelfde idee. In beide papers leren de agents via tekst in hun prompts, en blijven de modelgewichten gelijk.

Hoe werkt EVOCHAMBER?

EVOCHAMBER begint met een pool van 20 identieke agents en laat die over een reeks taken evolueren op drie niveaus:

• Individu: elke agent houdt zijn eigen ervaring bij en een schatting van hoe goed hij is in elk soort taak.
• Team: voor elke taak stelt een selector een team samen van drie agents met elkaar aanvullende sterke punten, en een leider kiest een van vier manieren van samenwerken.
• Populatie: na een mislukte of betwiste taak start CoDream. De agents reflecteren samen, schrijven inzichten op en geven die door van agents die sterk zijn in dat soort taak aan de zwakkere. Om de 10 taken kopieert het systeem bovendien sterke agents, voegt het bijna-dubbele samen, verwijdert het agents die blijven onderpresteren en voegt het nieuwe toe.

Met het open model Qwen3-8B melden de auteurs 63,9% op wiskundewedstrijdopgaven, 75,7% op code en 87,1% op een gemengde reeks uit zes taakdomeinen. Op wiskunde is dat relatief 32% beter dan de beste vergelijkbare methode. Uit identieke agents ontstonden vier tot vijf stabiele specialisten.

Waarin verschilt TacoMAS?

TacoMAS behandelt een team agents als een netwerk: de agents zijn de knooppunten, en de verbindingen laten zien wie informatie aan wie doorgeeft. Een snelle lus werkt na elke ronde het geheugen van elke agent bij. Een langzame lus laat een apart model agents en verbindingen toevoegen of weghalen. De auteurs stellen dat vaardigheden snel moeten veranderen en de teamstructuur langzaam, zodat de samenwerking stabiel blijft. TacoMAS evolueert binnen één taak en wist zijn geheugen tussen taken. Op vier benchmarks scoorde het gemiddeld 13,3 procentpunt hoger dan de sterkste van zo'n 20 andere multi-agent-systemen.

Waar liggen de grenzen?

Beide papers maten op benchmarks, van wiskunde en code tot webbrowsen en kantoortaken. De auteurs van EVOCHAMBER schatten de inferentiekosten op ongeveer 3,6 keer die van één agent, wat te veel kan zijn voor toepassingen die snel een antwoord moeten geven. Welke agent specialist wordt, verschilt per run, ook al herhaalt het patroon zich. En CoDream kan alleen doorgeven wat iemand in het team heeft opgelost. Niet elk zelfverbeterend agentsysteem werkt bovendien zonder training: Solvita (14 mei 2026) laat het taalmodel ongemoeid, maar traint per agent een klein kennisnetwerk met reinforcement learning.

Voorbeeld

In de wiskunderun van EVOCHAMBER (382 taken, Qwen3-8B) sloeg CoDream voor het eerst aan bij taak 11, nadat een team 0 van de 3 had gescoord. Drie agents schreven inzichten op, zoals de tip om bij het tellen van getallen die deelbaar zijn door meerdere getallen het inclusie-exclusieprincipe met het kleinste gemene veelvoud te gebruiken. Dezelfde drie agents schreven 72 van de 93 geverifieerde inzichten in die run. Bij de moeilijkste wedstrijdopgaven, waar niemand in het team het antwoord vond, werden de inzichten algemeen advies over het lezen van de vraag.