Wat is Transfer Learning?
Transfer learning is een machine learning-techniek waarbij een model dat getraind is op één taak wordt hergebruikt als startpunt voor een andere, gerelateerde taak. In plaats van een model volledig opnieuw te trainen, neem je de geleerde kennis over en pas je die aan — waardoor je sneller, met minder data en goedkoper tot een goed presterend model komt.
Waarom het ertoe doet
Transfer learning democratiseerde AI. Voorheen had je enorme datasets en miljoenen euro's aan compute nodig om een goed model te trainen. Met transfer learning kan een klein team een foundation model nemen dat al triljoenen tokens heeft gezien en het met een paar duizend voorbeelden aanpassen voor hun specifieke toepassing. Het is de reden dat startups en kleine organisaties nu state-of-the-art AI-toepassingen kunnen bouwen.
Hoe het werkt
Het basisprincipe:
- Basismodel — een model getraind op een brede taak (bijv. alle tekst op het internet)
- Feature-extractie — de geleerde representaties (features) uit het basismodel overnemen
- Aanpassing — de laatste lagen finetunen of nieuwe lagen toevoegen voor de specifieke taak
Varianten:
- Feature extraction — bevriest het basismodel en traint alleen een nieuwe outputlaag
- Fine-tuning — traint het volledige model door met een lage learning rate op taakspecifieke data