Mamba

Mamba is een bouwwijze voor AI-taalmodellen waarbij het geheugengebruik gelijk blijft, hoe lang de tekst ook is. De transformer, het ontwerp achter de meeste taalmodellen, bewaart elk eerder woord en vergelijkt elk nieuw woord daarmee, dus lange documenten worden traag en duur. Mamba houdt in plaats daarvan een samenvatting van vaste grootte bij van wat het las. Het wordt vaak gecombineerd met transformerlagen, zoals in Granite 4.0 van IBM.

Hoe werkt het?

Mamba is een state space model (SSM): het houdt een verborgen toestand van vaste grootte bij en werkt die bij met elk nieuw token. Albert Gu en Tri Dao introduceerden het in december 2023. Bij eerdere SSM's werkte die update voor elk token op dezelfde manier. Mamba laat hem afhangen van het token zelf, zodat het model per token beslist wat het in zijn toestand houdt en wat het vergeet. De auteurs noemen dat selectie. Een Mamba-model heeft geen attention-lagen: één herhaald Mamba-blok doet het werk van zowel de attention- als de MLP-blokken van een transformer.

Het Mamba-artikel beschrijft de keuze als een afweging in compressie. Attention comprimeert de context helemaal niet: het bewaart elk eerder token in de KV-cache, wat het effectief maakt maar traag bij lange teksten. Een model met een eindige toestand heeft geen cache nodig en genereert elk token in dezelfde tijd, maar is maar zo goed als wat er in die toestand past.

Hoe goed werkt het?

In het artikel uit 2023 genereerde Mamba tekst met vijf keer de doorvoer van even grote transformers, en haalde een Mamba-model met 3 miljard parameters het niveau van transformers die twee keer zo groot zijn. Op echte data bleef het beter presteren tot reeksen van een miljoen tokens. Mamba-2 (mei 2024) maakte de kernlaag 2 tot 8 keer sneller.

Mamba-3 volgde in maart 2026, van onderzoekers van Carnegie Mellon, Princeton, Together AI en Cartesia AI. Bij 1,5 miljard parameters scoorde het gemiddeld 56,4 op zeven standaard-taaltaken, tegen 55,4 voor een even grote transformer, en 57,6 in de MIMO-variant.

Waar schiet het tekort?

Een toestand van vaste grootte moet de tekst comprimeren, terwijl attention alles opnieuw kan opzoeken. De makers van Mamba-3 vonden hun model competitief bij het beantwoorden van vragen, maar het had moeite om informatie te halen uit semigestructureerde en ongestructureerde documenten. Ze verwachten dat zulke lagen vooral in hybride architecturen terechtkomen die een paar attention-lagen houden; hun eigen hybride, met één attention-laag op elke vijf Mamba-3-lagen, versloeg de pure transformer. IBM merkt op dat transformers ook een voorsprong houden bij in-context learning, zoals few-shot prompting.

Waar kom je het tegen?

• Nemotron-H van NVIDIA (april 2025) vervangt de meeste attention-lagen door Mamba-lagen en meldt tot drie keer snellere inferentie dan vergelijkbare open transformermodellen.
• Granite 4.0 van IBM (oktober 2025) bevat hybride modellen die Mamba-2- en transformerblokken combineren in een verhouding van 9:1. Volgens IBM hebben ze ruim 70% minder geheugen nodig voor lange invoer en meerdere gelijktijdige verzoeken dan gewone transformermodellen. IBM publiceert de modellen onder de Apache 2.0-licentie.
• De code van Mamba, Mamba-2 en Mamba-3 is open source in de repository state-spaces/mamba.

Voorbeeld

Stel: een klantenservice wil een model op een eigen server dat veel lange gesprekken tegelijk afhandelt. In een transformer houdt elk gesprek een KV-cache bij die groeit met de lengte, dus het geheugen bepaalt hoeveel gesprekken er passen. De Mamba-lagen van een hybride model houden per gesprek een toestand van vaste grootte bij, en alleen de paar attention-lagen hebben een cache nodig. Dat is het geval dat IBM noemt bij Granite 4.0: een klantenservice-agent die veel gedetailleerde vragen tegelijk afhandelt.