Wat is een Foundation Model?
Een foundation model is een groot AI-model dat getraind is op brede, diverse data op schaal en vervolgens aangepast kan worden voor een breed scala aan taken. GPT-4, Claude, Gemini, LLaMA en Stable Diffusion zijn allemaal foundation models. De term benadrukt dat deze modellen dienen als fundament waarop toepassingen worden gebouwd.
Waarom het ertoe doet
Foundation models veranderden het AI-paradigma fundamenteel. In plaats van voor elke taak een apart model te trainen, train je één groot model op diverse data en pas je het aan voor specifieke taken via fine-tuning, prompting of RAG. Dit maakt AI toegankelijk voor organisaties die niet de middelen hebben om modellen van scratch te trainen.
Hoe het werkt
Het foundation model-paradigma:
- Pre-training — het model leert algemene patronen uit enorme datasets (internet, boeken, code)
- Adaptatie — het model wordt aangepast voor een specifieke taak:
- Fine-tuning — verder trainen op taakspecifieke data
- Prompting — het model aansturen via instructies in natuurlijke taal
- RAG — het model verrijken met externe kennis
Kernkenmerken:
- — grotere modellen vertonen onverwachte capaciteiten die niet expliciet getraind zijn