Modeldistillatie

Bij modeldistillatie leert een klein AI-model van een groot model. Het grote model, de leraar (teacher), beantwoordt een grote reeks voorbeeldvragen, en het kleine model, de leerling (student), wordt getraind om dezelfde antwoorden te geven. De leerling is goedkoper en sneller in gebruik, en meestal iets zwakker. Een klantenservice kan zo een groot model distilleren tot een klein model dat alleen binnenkomende e-mails sorteert.

Hoe werkt het?

Het idee gaat terug op Bucilă, Caruana en Niculescu-Mizil (Cornell, 2006), die grote ensembles van modellen samenpersten tot één klein, snel model. Hinton, Vinyals en Dean (Google, 2015) gaven het de naam distillatie. Een classificatiemodel geeft elk mogelijk antwoord een kans, en ook de foute antwoorden bevatten informatie. In het voorbeeld van Hinton e.a. is de kans heel klein dat een foto van een BMW voor een vuilniswagen wordt aangezien, en toch is die vergissing vele malen waarschijnlijker dan een verwarring met een wortel.

Distillatie traint de leerling op die kansen, soft targets genoemd, vaak naast de juiste labels. Tijdens de training delen beide modellen hun scores door een temperature boven 1. Dat maakt de kansverdeling vlakker, zodat ook de kleine kansen meetellen; daarna draait de leerling op temperature 1. Bij handgeschreven cijfers (MNIST) maakte een groot netwerk 67 fouten op de testset en een klein netwerk met gewone training 146. Hetzelfde kleine netwerk, getraind om de soft targets van het grote netwerk bij temperature 20 na te bootsen, maakte er 74.

Hoe wordt het gebruikt bij taalmodellen?

DistilBERT (Hugging Face, 2019) heeft 66 miljoen parameters in plaats van de 110 miljoen van BERT. Het behield 97% van de score van BERT op GLUE, een benchmark voor taalbegrip, en was op een CPU 60% sneller. Google DeepMind trainde de 2B- en 9B-versie van Gemma 2 (2024) op de kansen die de leraar aan elk volgend token gaf. In de test van het team haalde een 2B-model dat van een 7B-model was gedistilleerd gemiddeld 67,7 op drie benchmarks, tegen 60,3 bij training vanaf nul.

Heb je geen toegang tot de kansen van de leraar, bijvoorbeeld bij een model achter een API, dan wordt de leerling met fine-tuning getraind op de antwoorden van de leraar. Kim en Rush (2016) noemden dat sequence-level knowledge distillation. DeepSeek deed dat bij DeepSeek-R1 (januari 2025): het trainde kleinere Qwen- en Llama-modellen met fine-tuning op ongeveer 800.000 voorbeelden die met R1 waren samengesteld. Het gedistilleerde 32B-model scoorde 72,6% op de wiskundetoets AIME 2024, tegen 79,8% voor R1 zelf en 47,0% voor hetzelfde basismodel dat alleen met reinforcement learning was getraind. In oktober 2024 voegde OpenAI een distillatieworkflow toe aan zijn API: je bewaart de antwoorden van een groot model zoals GPT-4o en gebruikt die om een kleiner model zoals GPT-4o mini te fine-tunen.

Distillatie bouwt een nieuw, kleiner model. Kwantisatie bespaart op een andere manier: het houdt hetzelfde model en slaat de getallen met minder precisie op.

Waar gaat het mis?

• De leerling kan de stijl overnemen zonder de kennis. Gudibande e.a. (2023) trainden modellen van 1,5 tot 13 miljard parameters met fine-tuning op uitvoer van ChatGPT. Crowdworkers vonden de antwoorden vergelijkbaar met die van ChatGPT, terwijl gerichte tests lieten zien dat de imitaties op taken die in de imitatiedata weinig voorkwamen weinig tot niets van de achterstand inhaalden.
• De eigenaar van de leraar kan het verbieden. De zakelijke voorwaarden van Anthropic verbieden klanten de diensten te gebruiken om concurrerende AI-modellen te trainen. In februari 2026 meldde Anthropic dat DeepSeek, Moonshot en MiniMax via ongeveer 24.000 frauduleuze accounts meer dan 16 miljoen gesprekken met Claude hadden gevoerd om hun eigen modellen te verbeteren. Hetzelfde bericht noemt distillatie een gangbare, legitieme methode die AI-labs geregeld op hun eigen modellen toepassen.

Voorbeeld

Stel: de klantenservice van een webshop laat een groot model binnenkomende e-mails in tien categorieën sorteren. Het bewaart een paar duizend van die e-mails met hun labels, traint daarmee een klein model en vergelijkt beide modellen op e-mails die geen van beide eerder zag. Komt het kleine model dicht genoeg in de buurt, dan neemt het het routinewerk over en gaan twijfelgevallen nog naar het grote model.