Kan Mamba-3 Transformers vervangen bij lange contexten?

Niet in zijn eentje, zeggen de makers. In maart 2026 publiceerden onderzoekers van Carnegie Mellon, Princeton, Together AI en Cartesia AI Mamba-3, een state space model (SSM) dat tekst leest met een geheugen van vaste grootte, in plaats van steeds terug te kijken naar elk eerder token. In hun tests verslaat een Mamba-3 met 1,5 miljard parameters een even grote Transformer en blijft het snel bij lange invoer. Exacte feiten uit documenten halen gaat minder goed, dus de auteurs zien het vooral in hybride modellen, naast attention-lagen.

Waarom worden Transformers duur bij lange contexten?

Een Transformer, sinds 2017 de architectuur achter de meeste taalmodellen, laat elk token via het attention-mechanisme naar alle eerdere tokens kijken. Het rekenwerk groeit met het kwadraat van de lengte: bij een miljoen tokens vergelijkt één attention-laag zo'n half biljoen tokenparen. Tijdens het genereren bewaart het model bovendien de keys en values van alle eerdere tokens in de KV-cache, en dat geheugen groeit met elk token. De Mamba-3-paper noemt precies die twee kosten: "quadratic compute and linear memory", kwadratisch rekenwerk en lineair groeiend geheugen.

FlashAttention (Dao e.a., 2022) maakte exacte attention sneller door minder te lezen uit en te schrijven naar het GPU-geheugen. De hoeveelheid rekenwerk groeit nog steeds met het kwadraat van de lengte.

Hoe werkt een state space model?

SSM's komen uit de regeltechniek en de signaalverwerking: je beschrijft een systeem met een kleine verborgen toestand die bij elke nieuwe invoer wordt bijgewerkt. S4 (Gu, Goel en Ré, 2021) maakte dat idee bruikbaar voor lange reeksen in deep learning. Vereenvoudigd ziet één stap er zo uit:

1
h_t = A · h_(t-1) + B · x_t
2
y_t = C · h_t

• x_t is de invoer bij stap t, h_t de verborgen toestand na die stap en y_t de uitvoer.
• A bepaalt hoeveel van de oude toestand blijft staan.
• B bepaalt hoeveel van de nieuwe invoer in de toestand wordt geschreven.
• C bepaalt wat er uit de toestand wordt uitgelezen.

Omdat de toestand een vaste grootte heeft, kost elk nieuw token evenveel werk, hoe lang de tekst ook al is. Het rekenwerk groeit lineair met de lengte van de tekst en het geheugen blijft tijdens het genereren gelijk. De prijs: alles wat het model van eerdere tekst onthoudt, moet in die toestand passen.

Mamba (Gu en Dao, december 2023) liet die parameters afhangen van het huidige token, zodat het model per token beslist wat het bewaart en wat het vergeet. De paper meldde een vijf keer zo hoge doorvoer bij inferentie als Transformers. Mamba-2 (Dao en Gu, mei 2024) bouwde de laag om zodat die op de matrixrekeneenheden van een GPU draait, waardoor hij 2 tot 8 keer sneller werd dan de Mamba-laag. Meer achtergrond staat in het woordenboekartikel over Mamba.

Wat verandert Mamba-3?

Mamba-3 bouwt voort op Mamba-2 met drie wijzigingen, elk afgeleid uit de SSM-kijk op de laag:

1. Een expressievere recurrentie. Een nieuwe regel zet het continue model om in discrete stappen; de auteurs noemen die exponential-trapezoidal discretisatie. Samen met extra bias-termen kan Mamba-3 daardoor de korte convolutie missen waar eerdere recurrente lagen op leunden.
2. Complexe toestandsupdates. Die werken als een rotary position embedding (RoPE) die van de invoer afhangt. In de tests van de paper lost Mamba-3 daarmee pariteit op (is het aantal enen in een bitreeks even of oneven?), een taak waarin het model een toestand moet bijhouden en waarop Mamba-2 op gokniveau scoort.
3. Multi-input, multi-output (MIMO). De toestandsupdate wordt een matrixvermenigvuldiging, waardoor de GPU tijdens het genereren beter benut wordt: tot vier keer meer rekenwerk per decodeerstap dan Mamba-2 bij dezelfde toestandsgrootte, met ongeveer dezelfde wachttijd.

De code en GPU-kernels kwamen op 17 maart 2026, een dag na de paper, als open source onder de Apache 2.0-licentie in de repository state-spaces/mamba. De paper is geaccepteerd voor ICLR 2026.

Hoe presteert Mamba-3 tegenover een Transformer?

De auteurs trainden elk model op dezelfde manier op 100 miljard tokens uit de FineWeb-Edu-dataset, in vier groottes van 180 miljoen tot 1,5 miljard parameters, met een context van 2.048 tokens. Bij 1,5 miljard parameters was de gemiddelde nauwkeurigheid op zeven gangbare taaltests:

• Transformer: 55,4
• Mamba-2: 55,7
• Gated DeltaNet, een andere laag met lineaire rekentijd: 55,8
• Mamba-3: 56,4
• Mamba-3 met MIMO: 57,6

Mamba-3 met MIMO haalde ook de perplexity (hoe goed een model onbekende tekst voorspelt) van Mamba-2 met een toestand die half zo groot is. De auteurs vertalen dat naar dezelfde kwaliteit bij de helft van de latency.

De snelheidstest draaide op één H100-GPU met een batch van 128 verzoeken, die elk een aantal tokens lezen en er daarna evenveel genereren. Mamba-3 (1,5B) werd vergeleken met Llama-3.2-1B, een Transformer, geserveerd door de inferentie-engine vLLM:

• 512 tokens: 4,39 seconden voor Mamba-3, 4,45 voor Llama
• 4.096 tokens: 35,11 tegen 58,64 seconden
• 16.384 tokens: 140,61 tegen 976,50 seconden, ongeveer zeven keer zo snel

Dat laatste Llama-getal schatten de auteurs op basis van een run met batchgrootte 16, omdat batch 128 niet in het GPU-geheugen paste.

Informatie terugvinden is het zwakke punt. Een toestand van vaste grootte moet de context samenvatten, terwijl attention alles opnieuw kan opzoeken in de KV-cache. De auteurs noemen pure Mamba-3 concurrerend bij vraag-en-antwoordtaken, en ze stellen vast dat het moeite heeft om informatie te halen uit semi-gestructureerde en ongestructureerde documenten. Op SWDE, waar het model een waarde zoals een releasedatum uit de HTML van een webpagina moet halen, scoorde het 28,5 tegen 48,9 voor de Transformer. Op FDA, sleutel-waardeparen uit documenten van de Amerikaanse Food and Drug Administration, was dat 23,4 tegen 58,4. Een hybride met één attention-laag op elke vijf Mamba-3-lagen scoorde op die tests 58,5 en 65,9, hoger dan de pure Transformer.

Gaat Mamba-3 Transformers vervangen?

De auteurs verwachten een mix. Omdat een toestand van vaste grootte zwak is in terugvinden, voorspellen ze dat lagen met lineaire rekentijd, zoals Mamba-3, vooral terechtkomen in hybride architecturen die een deel van de self-attention-lagen houden. Zo bereiken SSM-lagen nu al grotere modellen. NVIDIA's Nemotron-H (april 2025) vervangt de meeste attention-lagen door Mamba-lagen en meldt tot drie keer snellere inferentie dan open Transformer-modellen van vergelijkbare grootte. Tencents Hunyuan-TurboS (mei 2025) combineert ook Mamba- en Transformer-lagen. Mamba-3 is een kandidaat voor het lineaire deel van zulke hybrides.

Transformers houden een voorsprong in tooling: kernels als FlashAttention en inferentie-engines als vLLM zijn rond attention gebouwd.

Wat doe je als ontwikkelaar nu met Mamba-3?

• Lees het als onderzoek. Het grootste model in de paper heeft 1,5 miljard parameters en de langste test meet perplexity bij 32K tokens. Niets daarin laat zien hoe Mamba-3 zich gedraagt bij een miljoen tokens of op de schaal van commerciële modellen.
• Zie het niet als drop-in vervanger. De paper test voorgetrainde modellen op taal, terugvinden en het bijhouden van een toestand. Fine-tuning en tool calling vallen erbuiten.
• Meet bij je eigen contextlengtes. In de snelheidstest van de paper had Mamba-3 bij 512 tokens geen voordeel en bij 16.384 tokens een zevenvoudig voordeel.
• Test het terugvinden op je eigen data. Haalt je pipeline velden uit documenten, kijk dan eerst naar hybride modellen: op die taak bleef pure Mamba-3 het verst achter.