Fine-tuning

Fine-tuning is een bestaand AI-model een stukje verder trainen op je eigen voorbeelden, zodat het een bepaalde taak of stijl leert. Een webshop kan een taalmodel trainen op een set goedgekeurde productteksten, zodat nieuwe teksten in de huisstijl uitkomen zonder dat er elke keer een lange instructie bij moet. Voor gegevens die veranderen, zoals prijzen of voorraad, werken andere methoden beter.

Hoe werkt het?

De documentatie van Hugging Face zegt het eenvoudig: fine-tuning traint een groot voorgetraind model verder op een kleinere dataset voor een bepaalde taak of een bepaald domein. Het is hetzelfde proces als pre-training, alleen begin je niet met willekeurige gewichten, en het kost veel minder rekenkracht, data en tijd. Het verschil in schaal is groot. Meta trainde Llama 2 vooraf op 2 biljoen tokens (Touvron e.a., 2023). De fine-tuninggids van OpenAI vraagt minimaal 10 voorbeelden en raadt aan te beginnen met 50 zorgvuldig gemaakte (september 2026).

Bij supervised fine-tuning koppelt elk voorbeeld een invoer aan de gewenste uitvoer. Het antwoord van het model wordt met die uitvoer vergeleken, en de gewichten worden zo aangepast dat het verschil kleiner wordt. Zo zijn ook de chatassistenten gebouwd die mensen gebruiken: voor InstructGPT (2022) trainde OpenAI GPT-3 verder op antwoorden die menselijke beoordelaars hadden geschreven, en daarna met RLHF. Beoordelaars vonden de antwoorden van het InstructGPT-model met 1,3 miljard parameters beter dan die van GPT-3 met 175 miljard.

Moet je het hele model opnieuw trainen?

Nee. Volledige fine-tuning past elk gewicht aan, en dat wordt duur bij grote modellen. LoRA (Hu e.a., 2021) bevriest de oorspronkelijke gewichten en traint kleine toegevoegde matrices. Bij GPT-3 175B werd het aantal trainbare parameters daardoor 10.000 keer kleiner en het GPU-geheugen 3 keer kleiner, met een kwaliteit die gelijk opgaat met volledige fine-tuning. QLoRA (Dettmers e.a., 2023) voegt daar een tot 4 bits gecomprimeerd model aan toe, genoeg om een model van 65 miljard parameters te fine-tunen op één GPU van 48 GB. Zulke methoden heten samen PEFT (parameter-efficient fine-tuning).

Wanneer loont het?

De gids voor modeloptimalisatie van OpenAI begint bij meten en prompt engineering, en merkt op dat dat misschien al genoeg is. Fine-tuning voegt daaraan toe: meer voorbeelden dan in één prompt passen, kortere prompts die op grote schaal tokens besparen, trainen op gevoelige data zonder die bij elk verzoek mee te sturen, en een kleiner, goedkoper model dat één taak goed doet. De gids noemt classificatie, genuanceerd vertalen en tekst in een vast format als toepassingen.

Waar gaat het mis?

• Nieuwe feiten blijven slecht hangen. Ovadia e.a. (2023) vonden dat RAG het steeds beter deed dan unsupervised fine-tuning om kennis toe te voegen. Gekhman e.a. (2024) vonden dat modellen nieuwe feiten via fine-tuning langzaam leren, en meer hallucineren zodra ze die hebben geleerd.
• Het model kan vergeten. Trainen op één domein kan aantasten wat het model daarbuiten kon (catastrophic forgetting). Biderman e.a. (2024) vonden dat LoRA minder vergeet dan volledige fine-tuning, en ook minder leert.

Voorbeeld

Stel: een webshop wil productteksten in zijn huisstijl: korte zinnen, specificaties in een vaste volgorde en geen overdrijving. Eerst probeert hij een prompt met de stijlgids en een paar voorbeelden. Blijft de uitvoer afdwalen, dan verzamelt hij goedgekeurde teksten met de productgegevens waaruit ze zijn geschreven, fine-tunet hij een model op ongeveer 50 daarvan zoals OpenAI aanraadt, en controleert hij de uitkomsten op producten die het model niet heeft gezien. Prijzen en voorraad blijven buiten de trainingsdata: het model krijgt ze bij het schrijven uit de productdatabase.