State space model (SSM)

Een state space model (SSM) is een type AI-model dat tekst of andere data stap voor stap leest en daarbij een lopende samenvatting van vaste grootte bijhoudt. Een transformer, de bouwwijze achter de meeste taalmodellen, bewaart juist elk eerder woord en vergelijkt elk nieuw woord met al die woorden. Daardoor zijn SSM's goedkoper bij lange invoer, zoals contracten of chatgeschiedenissen, maar details kunnen uit de samenvatting wegvallen.

Waar komt het idee vandaan?

State space models (in het Nederlands toestandsruimtemodellen) zijn een klassiek hulpmiddel in de regeltechniek en andere wetenschappen: een systeem heeft een verborgen toestand die bij elke invoer verandert, en de uitvoer wordt uit die toestand afgelezen. S4 (Albert Gu, Karan Goel en Christopher Ré, 2021) maakte het idee bruikbaar in deep learning voor lange reeksen. Het loste Path-X op, een test met reeksen van 16.384 stappen waarop al het eerdere werk was vastgelopen, en genereerde in de tests van het paper 60 keer zo snel als een transformer. Op taal bleven SSM's toen nog achter bij attention. Mamba (Gu en Tri Dao, december 2023) dichtte dat gat: Mamba-3B versloeg transformers van dezelfde grootte.

Hoe werkt het?

Vereenvoudigd ziet één stap van een SSM er zo uit:

1
h_t = A · h_(t-1) + B · x_t
2
y_t = C · h_t

• x_t is de invoer bij stap t, bijvoorbeeld een token, h_t de verborgen toestand na die stap en y_t de uitvoer.
• A bepaalt hoeveel van de oude toestand blijft, B hoeveel van de nieuwe invoer erin wordt geschreven, en C wat eruit wordt gelezen.

S4 gaat uit van de continue versie, een differentiaalvergelijking uit de regeltechniek, en zet die om in deze losse stappen; A, B en C worden tijdens de training geleerd. In S4 zijn ze voor elke stap gelijk, zodat de training een hele reeks in één keer kan verwerken als één lange convolutie. Als het model tekst genereert, werkt het stap voor stap, en kost elk nieuw token even veel werk en geheugen, hoe lang de tekst ook al is.

Mamba maakte de parameters afhankelijk van het huidige token, zodat het model per token beslist wat het bewaart en wat het vergeet; de auteurs noemen dat selectie. Daarmee valt de convolutie af, dus gebruikt Mamba in plaats daarvan een parallel algoritme dat op de gpu is afgestemd. Het item over Mamba beschrijft die lijn van modellen, tot en met Mamba-3 (maart 2026).

Hoe verhoudt het zich tot een transformer?

Attention vergelijkt elk token met alle eerdere en bewaart hun keys en values in de KV-cache. Het Mamba-3-paper vat de kosten samen als "quadratic compute and linear memory": rekenwerk dat kwadratisch groeit met de lengte en geheugen dat lineair groeit. Een SSM heeft lineair rekenwerk en constant geheugen nodig. In het Mamba-paper genereerde Mamba tekst met vijf keer de doorvoer van transformers. Met 1,5 miljard parameters haalde Mamba-3 gemiddeld 56,4 op zeven taaltaken, tegen 55,4 voor een even grote transformer.

Het zwakke punt is het exact terugvinden van informatie. Het Mamba-paper beschrijft de afweging: attention comprimeert zijn context niet, wat het effectief maar traag maakt, terwijl een model met een vaste toestand maar zo goed is als wat daarin past. De auteurs van Mamba-3 vonden hun model concurrerend bij vraag-en-antwoordtaken, maar het had moeite om informatie uit semigestructureerde en ongestructureerde documenten te halen. Ze voorspellen dat zulke lagen vooral in hybride modellen terechtkomen die een deel van de attention-lagen houden. Nemotron-H van NVIDIA (april 2025) vervangt de meeste attention-lagen door Mamba-lagen en meldt tot drie keer snellere inferentie dan vergelijkbare open transformermodellen. De hybride modellen van IBM's Granite 4.0 (oktober 2025) combineren Mamba-2- en transformerblokken in een verhouding van 9:1.

Voorbeeld

Holotron-12B van H Company (maart 2026) is een model voor computer-use agents, die een browser of desktop bedienen door naar het scherm te kijken. Het is gebouwd op Nemotron-Nano-2 VL van NVIDIA, een hybride van SSM- en attention-lagen. Volgens H Company bewaren de SSM-lagen een constante toestand per laag en per reeks in plaats van een groeiende KV-cache, wat ruimte laat voor meer verzoeken op dezelfde gpu. Op de benchmark WebVoyager, met 100 agents tegelijk op één H100-gpu, haalde Holotron-12B meer dan twee keer de doorvoer van het eerdere Holo2-8B van H Company.