Wat is Transfer Learning?
Transfer learning is een machine learning-techniek waarbij een model dat getraind is op één taak wordt hergebruikt als startpunt voor een andere, gerelateerde taak. In plaats van een model volledig opnieuw te trainen, neem je de geleerde kennis over en pas je die aan — waardoor je sneller, met minder data en goedkoper tot een goed presterend model komt.
Waarom het ertoe doet
Transfer learning democratiseerde AI. Voorheen had je enorme datasets en miljoenen euro's aan compute nodig om een goed model te trainen. Met transfer learning kan een klein team een foundation model nemen dat al triljoenen tokens heeft gezien en het met een paar duizend voorbeelden aanpassen voor hun specifieke toepassing. Het is de reden dat startups en kleine organisaties nu state-of-the-art AI-toepassingen kunnen bouwen.
Hoe het werkt
Het basisprincipe:
- Basismodel — een model getraind op een brede taak (bijv. alle tekst op het internet)
- Feature-extractie — de geleerde representaties (features) uit het basismodel overnemen
- Aanpassing — de laatste lagen finetunen of nieuwe lagen toevoegen voor de specifieke taak
Varianten:
- Feature extraction — bevriest het basismodel en traint alleen een nieuwe outputlaag
- Fine-tuning — traint het volledige model door met een lage learning rate op taakspecifieke data
- LoRA / adapters — voegt kleine trainbare modules toe terwijl het basismodel bevroren blijft
Wanneer transfer learning werkt:
- De bron- en doeltaak delen onderliggende patronen
- Er is beperkte data beschikbaar voor de doeltaak
- Het basismodel is getraind op relevante, brede data
Wanneer het faalt:
- De domeinen zijn te verschillend (medische beelden → financiële data)
- De doeltaak vereist fundamenteel andere features
Voorbeeld
Een Nederlands advocatenkantoor wil contracten automatisch analyseren. In plaats van een taalmodel van scratch te trainen (wat miljoenen kost), nemen ze LLaMA 3 en finetunen het op 5.000 geannoteerde juridische contracten. Het model leert in uren — in plaats van maanden — omdat het al begrijpt hoe taal werkt; het hoeft alleen de juridische nuances te leren.