Mixture-of-experts-model (MoE)

Een mixture-of-experts-model (MoE) is een AI-model dat bestaat uit veel kleinere delen, de experts, waarvan er per woord maar een paar het werk doen. Het heeft per woord ongeveer zoveel rekenwerk nodig als een veel kleiner model, dus het draait sneller en goedkoper dan een gewoon model van dezelfde omvang. Wel moet het geheugen al die delen kunnen bevatten. DeepSeek-V3 en Mistral Small 4 zijn zo gebouwd.

Hoe werkt het?

Elke laag van een transformer heeft een attention-deel en een feedforward-netwerk. Een MoE-laag vervangt dat ene feedforward-netwerk door een set experts, elk een kleiner feedforward-netwerk, plus een router: een klein netwerk dat voor elk token de experts een score geeft en het token naar de beste paar stuurt. Hun uitvoer wordt gecombineerd, gewogen met de scores van de router. In Mixtral 8x7B (Mistral AI, januari 2024) heeft elke laag 8 experts en kiest de router er per token 2; die keuze kan per token verschillen.

Twee getallen beschrijven zo'n model. De totale parameters moeten allemaal in het geheugen staan; de actieve parameters per token bepalen het rekenwerk. Mixtral heeft in totaal 47 miljard parameters en gebruikt er 13 miljard per token, en het deed het even goed als of beter dan Llama 2 70B en GPT-3.5 op de benchmarks die de makers testten. Modelnamen bevatten vaak beide getallen: Gemma 4 26B A4B (Google, april 2026) heeft in totaal 26 miljard parameters, waarvan 4 miljard actief.

Waar komt het idee vandaan?

Shazeer e.a. (2017) bouwden MoE-lagen met tot duizenden experts en meldden meer dan 1.000 keer zoveel modelcapaciteit bij een klein verlies aan rekenefficiëntie. Switch Transformers (Fedus e.a., 2021) stuurden elk token naar één expert, trainden modellen tot een biljoen parameters en haalden tot 7 keer snellere pre-training met dezelfde rekenkracht. Nieuwere modellen gebruiken veel kleine experts: DeepSeekMoE (2024) splitste experts op in fijnere en voegde gedeelde experts toe die elk token gebruikt. DeepSeek-V3 (december 2024) heeft 671 miljard parameters, waarvan 37 miljard actief per token, en MiniMax-M2 (2025) heeft 256 experts per laag, waarvan er 8 actief zijn.

Waar gaat het mis?

• Het geheugen blijft groot. Mixtral draaien kost geheugen voor alle 47 miljard parameters, hoewel elk token er 13 miljard gebruikt. De uitleg van Hugging Face (december 2023) vat het samen: MoE-modellen hebben veel GPU-geheugen nodig omdat alle experts geladen zijn.
• De router kan een paar experts voortrekken. Gaan de meeste tokens naar een paar populaire experts, dan wordt de training inefficiënt, dus voegt MoE-training meestal een extra loss toe die een gelijke verdeling beloont. DeepSeek-V3 verdeelt de last zonder zo'n loss, en MiniMax-M2 doet het met biastermen in de router.
• De experts zijn geen specialisten in de gewone betekenis. Toen Mistral AI naging welke experts arXiv-artikelen, biologie-samenvattingen en filosofieteksten verwerkten, vond het geen duidelijk patroon per onderwerp; de routering volgde eerder de syntaxis dan het onderwerp.
• Routeren kost tijd. Het Mixtral-artikel noemt extra overhead door de routering en het geheugenverkeer, en vindt MoE-lagen geschikter voor werk in batches.

Voorbeeld

Stel: een bedrijf wil Mistral Small 4 (maart 2026) op een eigen server draaien. Het model heeft 128 experts, gebruikt er 4 per token en heeft 119 miljard parameters, waarvan 6 miljard actief (8 miljard inclusief de embedding- en uitvoerlagen). Per token rekent het als een klein model, maar alle 119 miljard parameters moeten geladen zijn: ongeveer 238 GB bij 16 bits, of ongeveer 60 GB met kwantisatie naar 4 bits. Een gewoon (dense) model met 8 miljard parameters zou bij 16 bits ongeveer 16 GB nodig hebben.