Wat is een Model Card?
Een model card is een gestandaardiseerd documentatiedocument dat de belangrijkste eigenschappen van een AI-model beschrijft: waarvoor het getraind is, op welke data, hoe het presteert, wat de beperkingen zijn, en welke ethische overwegingen van toepassing zijn. Het is het equivalent van een bijsluiter voor een AI-model.
Waarom het ertoe doet
Model cards brengen transparantie in een veld dat vaak ondoorzichtig is. Ze stellen gebruikers in staat om geïnformeerde beslissingen te nemen over welk model ze inzetten, helpen bias en beperkingen vroegtijdig te herkennen, en zijn steeds vaker een wettelijke vereiste (EU AI Act schrijft documentatie voor bij hoog-risico AI-systemen).
Hoe het werkt
Standaardsecties van een model card:
1. Modeldetails:
- Naam, versie, ontwikkelaar, licentie
- Modeltype en architectuur
- Trainingsdatum en -kosten
2. Beoogd gebruik:
- Primaire use cases
- Niet-beoogde en afgeraden toepassingen
- Doelgroep
3. Trainingsdata:
- Databronnen en -samenstelling
- Data-preprocessing en filtering
- Bekende data-beperkingen
4. Prestaties:
- Benchmarkscores per taak
- Prestaties uitgesplitst per demografische groep
- Vergelijking met vorige versie of basislijn
5. Beperkingen en risico's:
- Bekende beperkingen
- Scenario's waarin het model faalt
- Potentiële biases
6. Ethische overwegingen:
- Mogelijke maatschappelijke impact
- Mitigatiemaatregelen
Waar je model cards vindt:
- Hugging Face — elke modelrepository heeft een model card
- OpenAI System Cards — technische rapporten bij GPT-modellen
- Google Model Cards — bijgevoegd bij Gemini en andere modellen
Voorbeeld
De model card van LLaMA 3 documenteert: getraind op 15T tokens internettekst, 128K tokenizer, benchmarkscores (MMLU 86,1%), beperkingen (hallucinaties, bias in meertalige scenario's), en aanbevolen gebruik (niet voor medische of juridische beslissingen zonder menselijk toezicht). Dit stelt een ontwikkelaar in staat om te beoordelen of LLaMA 3 geschikt is voor hun specifieke toepassing.