Foundation model

Een foundation model is een groot AI-model dat heeft geleerd van een heel grote, gevarieerde verzameling tekst, beelden of code, zodat het veel verschillende taken kan doen in plaats van één. De modellen achter ChatGPT, Claude en Gemini zijn voorbeelden. Een bedrijf bouwt er zelden zelf een: het gebruikt een bestaand model en past het aan voor zijn eigen werk, zoals klantmails beantwoorden of facturen samenvatten.

Waar komt de term vandaan?

Onderzoekers van Stanford introduceerden hem in augustus 2021 in On the Opportunities and Risks of Foundation Models (Bommasani e.a.). Hun definitie: elk model dat op brede data is getraind, meestal met self-supervision op grote schaal, en dat zich laat aanpassen aan een breed scala aan taken. Hun voorbeelden waren BERT, GPT-3 en CLIP. Het woord "foundation" (fundament) benadrukt dat zo'n model op zichzelf onaf is: het is de gemeenschappelijke basis waarop veel modellen voor een specifieke taak worden gebouwd.

De Europese AI-verordening (2024) noemt zo'n model een "AI-model voor algemene doeleinden" (Europese Commissie). Sinds 2 augustus 2025 moeten aanbieders van nieuwe modellen van dit type onder meer technische documentatie leveren aan bedrijven die het model in hun eigen systemen inbouwen.

Hoe wordt een foundation model gemaakt?

Het artikel van Meta over Llama 3 (juli 2024) beschrijft twee fasen:

1. Pre-training: het model leert van een heel grote hoeveelheid data met een eenvoudige taak, zoals het volgende woord van een tekst voorspellen. De data levert zelf de antwoorden, dus niemand hoeft iets te labelen (self-supervised learning). Meta trainde zijn grootste Llama 3-model, met 405 miljard parameters, vooraf op 15,6 biljoen tokens.
2. Post-training: het model wordt bijgesteld om instructies te volgen, aan te sluiten bij menselijke voorkeuren en beter te worden in specifieke vaardigheden zoals programmeren, met methoden als RLHF of Constitutional AI van Anthropic.

Een bedrijf past het model daarna aan voor zijn taak: met een prompt die de klus beschrijft, met RAG, dat relevante documenten aan de vraag toevoegt, of met fine-tuning op eigen voorbeelden. Meta publiceerde zowel de voorgetrainde als de nagetrainde versie van zijn grootste model, zodat ontwikkelaars van beide kunnen uitgaan.

Waarom is het belangrijk?

Het rapport vat de betekenis samen in twee woorden:

• Emergentie: wat het model kan, volgt uit de training in plaats van dat iemand het inbouwt. GPT-3, met 175 miljard parameters, kon een nieuwe taak oppakken op basis van een beschrijving in de prompt, iets waarvoor het niet was getraind en wat niemand had verwacht. Wei e.a. (2022) noemen een vaardigheid emergent als kleinere modellen haar missen en grotere haar hebben. Schaeffer e.a. (2023) stellen dat veel van die plotselinge sprongen voortkomen uit de gekozen meetmethode.
• Homogenisering: veel toepassingen bouwen op dezelfde paar modellen. Een verbetering van het model helpt ze allemaal, en elke toepassing die erop bouwt, erft zijn gebreken, zoals een vooroordeel.

Waar gaat het mis?

In 2021 schreven de auteurs van het rapport dat er nog geen helder begrip was van hoe deze modellen werken, wanneer ze falen en wat ze kunnen. Test een model dus op je eigen taak voordat je erop vertrouwt, en reken erop dat zijn fouten, zoals hallucinaties, doorwerken in je toepassing. Zelf een foundation model trainen is zelden een optie: de AI Index 2024 van Stanford schatte de rekenkosten voor het trainen van GPT-4 op 78 miljoen dollar en voor Gemini Ultra van Google op 191 miljoen.

Voorbeeld

Stel: een installatiebedrijf wil sneller offertes opstellen. Het gebruikt een foundation model via een chatdienst of een API, geeft via RAG de eigen prijslijst en voorwaarden mee en zet een voorbeeld van een goede offerte in de prompt. Moeten de concepten beter bij de huisstijl passen, dan kan het bedrijf het model fine-tunen op eerdere offertes.