Nemotron-Labs Diffusion

Nemotron-Labs Diffusion is een familie downloadbare taalmodellen van NVIDIA (mei 2026) die sneller tekst kunnen schrijven dan gebruikelijk. Een gewoon chatbotmodel schrijft één woorddeel tegelijk; deze modellen kunnen ook een blok tekst in één keer invullen en daarna verbeteren. Voor een bedrijf dat een eigen model draait, bijvoorbeeld op een server op kantoor, kan dat snellere antwoorden opleveren met dezelfde machine.

Wat zit er in de familie?

Op 19 mei 2026 bracht NVIDIA tekstmodellen uit van 3, 8 en 14 miljard parameters, elk in een basisversie en een versie die op instructies is getraind, plus een vision-language model van 8 miljard parameters (GitHub). De tekstmodellen vallen onder de NVIDIA Nemotron Open Model License, die vermeldt dat ze commercieel bruikbaar zijn; het vision-language model valt onder de Source Code License van NVIDIA (aankondiging). Volgens het technisch rapport begon NVIDIA met de basismodellen van Ministral 3 van Mistral AI in dezelfde groottes, trainde die op de gewone manier verder op 1 biljoen tokens en daarna op 300 miljard met een gecombineerd doel, en trainde de instructieversies met fine-tuning op 45 miljard.

Hoe werkt het?

Een model als GPT schrijft autoregressief: elk nieuw token kost een volledige doorgang door het model, en een geschreven token ligt vast. Diffusie, bekend van beeldgeneratoren, begint met ruis en verfijnt die in stappen. Bij tekst verbergen diffusietaalmodellen zoals LLaDA (2025) tokens achter een masker en leren ze die in te vullen. Nemotron-Labs Diffusion kan allebei en wisselt door zijn attention-patroon te veranderen (modelkaart). Dat levert drie modi op:

• Autoregressief: van links naar rechts, één token per doorgang. NVIDIA geeft de voorkeur aan deze modus als een server veel verzoeken tegelijk verwerkt.
• Diffusie: het model vult een blok tekst in, 32 tokens in de voorbeelden van NVIDIA. Het blok begint helemaal gemaskeerd, en bij elke stap legt het model de tokens vast waarover het zeker genoeg is. Binnen een blok zien de tokens elkaar; tussen blokken werkt het model van links naar rechts, zodat afgeronde blokken de KV-cache kunnen hergebruiken.
• Zelfspeculatie (self-speculation): de diffusiemodus maakt in één doorgang een concept van meerdere tokens en de autoregressieve modus controleert dat in een tweede doorgang; het langste deel dat klopt, blijft staan. Dit is speculative decoding waarbij het model zijn eigen concepten schrijft. Volgens NVIDIA werkt het het best als er weinig gebruikers tegelijk zijn.

De training combineert beide doelen: de gewone loss voor het volgende token plus 0,3 keer een diffusieloss op gemaskeerde blokken. De aanpak bouwt voort op Efficient-DLM van NVIDIA (december 2025), dat een getraind autoregressief model omzet in een diffusiemodel.

Hoeveel sneller is het?

NVIDIA meet een deel van de snelheid in tokens per forward pass (TPF): het aantal tokens per doorgang door het model, een maat die niet van de hardware afhangt. Voor het 8B-model meldt de aankondiging in diffusiemodus 2,6 keer de TPF van autoregressieve modellen en in zelfspeculatie 6 tot 6,4 keer, met vergelijkbare nauwkeurigheid, en een gemiddelde nauwkeurigheid die 1,2% hoger ligt dan die van Qwen3 8B. Op echte hardware is de winst kleiner. Met één gebruiker tegelijk haalde zelfspeculatie 850 tokens per seconde op een GB200-GPU, tegen 253 in de autoregressieve modus, en 112 tegen 41,8 op NVIDIA's desktopcomputer DGX Spark met 4-bits gewichten (modelkaart).

Waar gaat het mis?

• De winst hangt af van de drukte. Bij veel gelijktijdige verzoeken is de GPU al volop aan het werk, en volgens het technisch rapport is de autoregressieve modus dan de betere keuze.
• Alle cijfers over snelheid en nauwkeurigheid komen van NVIDIA zelf, gemeten op hardware van NVIDIA.
• In de diffusiemodus bepaalt een drempel wanneer een token als zeker geldt; een lagere drempel legt per stap meer tokens vast en maakt meer fouten. Zelfspeculatie kent die afweging niet: bij temperature 0 is de uitvoer gelijk aan die van de autoregressieve modus, volgens de aankondiging.
• De software was bij de lancering nog jong. De modellen hebben Hugging Face Transformers 5 met eigen modelcode nodig, en voor serveren met SGLang was je aangewezen op een pull request dat in september 2026 nog openstond.