Kunnen twee taalmodellen samenwerken zonder tekst uit te wisselen?

Ja, bij smalle taken. Op 11 mei 2026 publiceerden drie onderzoekers van AWS het Bicameral Model op arXiv: twee taalmodellen die naast elkaar draaien en signalen uitwisselen via hun hidden states, de interne representaties die een model voor elk token berekent. Alleen een kleine interface ertussen wordt getraind; de gewichten van de modellen zelf blijven ongewijzigd. Met een rekenmachine haalden twee gekoppelde 0,5B-modellen 96,5% op rekenopgaven, tegen 36,2% voor één model alleen. De prijs: de rekenkracht kan verdubbelen, en de koppeling verslechterde taken die het model al goed deed.

Waarom zouden twee modellen tekst overslaan?

Als twee taalmodellen samenwerken, in een multi-agentsysteem of wanneer een model een tool aanroept, communiceren ze door tekst te genereren. Elke uitwisseling gaat door losse tokens, het ene bericht na het andere. Het paper onderzoekt of twee voorgetrainde modellen in plaats daarvan tegelijk via een doorlopend kanaal kunnen samenwerken, en wat dat kanaal leert over te brengen als het alleen op de taak zelf wordt getraind.

Hoe werkt het Bicameral Model?

Het systeem heeft drie delen:

• een primair model dat de taak aanstuurt en het antwoord schrijft dat de gebruiker ziet
• een hulpmodel dat ernaast draait en een tool bedient: een rekenmachine, de constraint solver Z3 of een Python-sandbox
• een neurale interface tussen de twee, het enige deel dat wordt getraind

Beide modellen genereren per stap één token, in hetzelfde ritme. Op gekozen lagen van de transformer leest de interface de hidden state van het ene model, vertaalt die naar de representatieruimte van het andere model en mengt hem daarin: eerst van het primaire model naar het hulpmodel, dan terug. Een aangeleerde poort, de suppression gate, bepaalt hoeveel van dat signaal het ontvangende model toelaat. De interface is klein: 16 miljoen parameters in de rekenopstelling en 21 miljoen voor de logigrammen, naast modellen van elk 0,5 en 0,6 miljard parameters.

Het hulpmodel roept zijn tool nog wel in tekst aan. Gevraagd wat 4 keer 3 is, schrijft het calc(4*3), en de uitkomst van de rekenmachine komt terug in zijn eigen stroom. Het primaire model ziet die uitkomst nooit als tekst. Het krijgt hem alleen via de koppeling binnen, en schrijft het antwoord, 12, zonder de syntax van de rekenmachine ooit te zien.

De training is supervised fine-tuning op de uitvoer van beide modellen, waarbij de gewichten van beide modellen bevroren blijven. De trainingsvoorbeelden hebben extra annotatie nodig: een constraint solver zet elke toolaanroep op een plek waar het hulpmodel al kan weten wat het van het primaire model nodig heeft. Een tweede fase met reinforcement learning via GRPO, alleen op de interface, leverde in een eerste test 4,7 punt extra op bij een moeilijkere set redactiesommen.

Wat lieten de experimenten zien?

De auteurs kozen taken waarbij de tool een groot, duidelijk verschil maakt tussen wat de modellen met en zonder die tool kunnen.

• Rekenen: twee exemplaren van Qwen2.5-0.5B-Instruct, met een rekenmachine voor het hulpmodel, haalden 96,5%, tegen 36,2% voor het primaire model alleen. Dat is de beste van 890 configuraties van welke lagen worden gekoppeld, en 95,4% daarvan deed het beter dan het model alleen. Met dezelfde interface maar zonder hulpmodel was de score 48,0%: de winst komt dus van het toolgebruik van het hulpmodel en niet van de extra parameters.
• Logigrammen: twee exemplaren van Qwen3-0.6B met de Z3-solver scoorden 64,7% op ZebraLogic, een benchmark van 1.000 logigrammen, gemiddeld over vijf runs. Qwen3-0.6B alleen, met thinking, scoorde 37,5%: het gekoppelde systeem haalde dus 1,7 keer zoveel. Hetzelfde kleine model, met de opdracht om solvercode als tekst te schrijven, scoorde 24,6% en kreeg geen enkele query succesvol bij de solver.
• Wiskunde met Python: twee exemplaren van Qwen3-4B scoorden 62,5% op de MATH-benchmark, lager dan de 81,6% van Qwen3-4B alleen met thinking. Ze losten wel 127 opgaven op die thinking alleen miste, en het hulpmodel schreef code voor de specifieke opgave zonder de tekst van de opgave ooit te zien.

Bij de logigrammen zet het paper de ranglijst van ZebraLogic ernaast: Claude 3.5 Sonnet op 36,2% en GPT-4o op 31,7%, allebei zonder solver. Getraind zonder aanwijzingen in de stijl van ZebraLogic zakte het gekoppelde systeem naar 10,3% op ZebraLogic, terwijl het 81,1% haalde op puzzels die de auteurs zelf genereerden. Het hulpmodel leunt sterk op patronen in de aanwijzingen die het heeft onthouden.

Wat draagt het kanaal tussen de modellen?

De poort leerde alleen uit de taak wanneer hij open moest, zonder voorgeschreven formaat. In een redactiesom ging het voorwaartse kanaal open bij woorden als "sum" en "total", en bleef het dicht bij de bedragen in dollars, die het hulpmodel eerder al had ontvangen. Het terugkanaal bleef bijna op nul tot de rekenmachine zijn uitkomst gaf. Tijdens de training ontwikkelde de koppeling zich in een vaste volgorde: eerst het voorwaartse kanaal, dan correcte aanroepen van de rekenmachine, dan een plotselinge sprong in nauwkeurigheid.

Wat zijn de beperkingen?

• Twee modellen in hetzelfde ritme laten draaien kan de benodigde rekenkracht verdubbelen.
• De koppeling maakt taken slechter die het basismodel al goed beheerst: op de redactiesommen van GSM8K zakte de score van 49,6% naar ongeveer 40%, in alle 890 configuraties.
• De training vraagt om taakspecifieke data, geannoteerd met wanneer het hulpmodel mag handelen.
• Alle gerapporteerde resultaten gebruiken twee exemplaren van hetzelfde model, van 0,5 tot 4 miljard parameters. Een eerste test met een primair model van 32B en een hulpmodel van 0,6B werkte, maar was niet geoptimaliseerd, en de daling bij redactiesommen bleef.

De auteurs willen hierna andere modellen koppelen die elkaar aanvullen, zoals retrievalmodellen of modellen voor andere modaliteiten, en de interface verder trainen met reinforcement learning.

Hoe verhoudt het zich tot andere manieren om hidden states te delen?

Het paper noemt eerdere aanpakken waarin modellen interne toestanden uitwisselen in plaats van tekst. C2C voegt de KV-cache van het ene model in die van het andere, één keer, voordat het genereren begint. LatentMAS geeft volledige KV-caches door tussen agents in een vaste volgorde, zonder training. ThoughtComm voegt latente gedachten in tussen de rondes van een debat tussen agents. Volgens de auteurs verschilt het Bicameral Model van al deze aanpakken omdat de koppeling in beide richtingen loopt, bij elk gegenereerd token.

Ander multi-agentwerk uit dezelfde week coördineerde nog via tekst. EVOCHAMBER (11 mei 2026) laat een groep agents na een mislukte taak samen terugblikken en de lessen van sterke naar zwakke agents doorgeven. DOLORES (12 mei 2026) bouwt tijdens de inferentie per taak een redeneerstructuur en verdeelt het werk over aparte redeneerlijnen.