Model card

Een model card is een kort document bij een AI-model, te vergelijken met de bijsluiter bij een medicijn. Er staat in waarvoor het model bedoeld is, van welke data het leerde, hoe het in tests presteerde, waar het de mist in gaat en wat de licentie toestaat. Wil je een chatbot voor Nederlandse klanten, dan lees je daarin of het model wel voor Nederlands is gemaakt en getest.

Waar komt het idee vandaan?

Onderzoekers van Google en de Universiteit van Toronto stelden model cards voor in oktober 2018 (Mitchell e.a., gepresenteerd op de conferentie FAT* in januari 2019). Hun aanleiding: systematische fouten, zoals gezichtsherkenning die veel vaker faalde bij vrouwen met een donkere huid, kwamen pas aan het licht toen de systemen al in gebruik waren. Ze stelden voor elk gepubliceerd model een verslag van één à twee pagina's mee te geven, met testresultaten uitgesplitst naar groep en omstandigheid. In hun voorbeeldkaart voor een glimlachdetector liet die uitsplitsing zien dat het model oudere mannen veel vaker dan andere groepen ten onrechte als lachend aanmerkte: bias die in een gemiddelde score verdwijnt.

Wat staat er in een model card?

Het artikel stelt negen onderdelen voor, hier gegroepeerd:

• Modeldetails: maker, datum, versie, type en licentie.
• Beoogd gebruik: waarvoor en voor wie het is gemaakt, en welk gebruik erbuiten valt.
• Factoren en meetmethoden: welke groepen en omstandigheden zijn getest, en hoe de prestaties zijn gemeten.
• Evaluatie- en trainingsdata: waarop de tests draaiden en, waar mogelijk, waarvan het model leerde.
• Kwantitatieve analyses: de resultaten per groep en voor combinaties van groepen.
• Ethische overwegingen, kanttekeningen en aanbevelingen.

Op Hugging Face is de model card het README.md-bestand in de repository van een model, met bovenaan een blok metadata (licentie, talen, datasets) waarop de zoekfilters van de site werken. Het sjabloon heeft ook een onderdeel voor de geschatte CO2-uitstoot van de training.

Wie publiceren ze?

Google DeepMind publiceert model cards voor Gemini en Gemma, en Meta voor Llama. Anthropic en OpenAI spreken van system cards; die van Anthropic beschrijven per Claude-model de capaciteiten, de veiligheidstests en de afwegingen bij de uitrol.

Is een model card wettelijk verplicht?

De Europese AI-verordening noemt model cards één keer, in overweging 89, als werkwijze die ze aanmoedigt bij ontwikkelaars van opensourcecomponenten voor AI. Bindend is een plicht voor makers van AI-modellen voor algemene doeleinden: sinds 2 augustus 2025 moeten ze bedrijven die het model in een product inbouwen informatie geven over de beoogde taken, de licentie, de architectuur en de trainingsdata (artikel 53 en bijlage XII). Modellen met een opensourcelicentie en openbare gewichten zijn van die plicht vrijgesteld, tenzij ze een systeemrisico vormen.

Waar schiet het tekort?

De maker schrijft de kaart zelf, en kaarten verschillen sterk in wat ze behandelen. Onderzoekers van Stanford en Hugging Face (Liang e.a., 2024) bekeken Hugging Face zoals het er in oktober 2022 bij stond: 44,2% van de 74.970 modelrepository's had een model card, en die modellen waren samen goed voor 90,5% van de downloads. Binnen die kaarten was het onderdeel over de training in 74,3% van de gevallen ingevuld, beperkingen in 17,4%, evaluatie in 15,4% en milieu-impact in 2,0%.

Voorbeeld

De model card van Llama 3 van Meta (april 2024) vermeldt dat het model is getraind op meer dan 15 biljoen tokens aan openbaar beschikbare data, zonder gebruikersdata van Meta. Hij geeft testscores per formaat, zoals 66,6 en 79,5 op de kennistest MMLU (een benchmark) voor de basismodellen met 8 en 70 miljard parameters, en schat de uitstoot van de pretraining op 2.290 ton CO2-equivalent. Volgens de kaart is Llama 3 bedoeld voor commercieel gebruik en onderzoek in het Engels, vallen andere talen buiten het beoogde gebruik tenzij een ontwikkelaar het model binnen de licentie verder traint (fine-tuning), en is er tot nu toe in het Engels getest. Voor een Nederlandse webshop is dat de regel die ertoe doet: een Nederlandstalige klantenchatbot op Llama 3 valt buiten het gebruik waarvoor Meta het model bedoelde en testte.