AI-benchmark

Een AI-benchmark is een standaardtoets voor AI-modellen: een vaste set vragen of taken met bekende antwoorden, zodat je verschillende modellen op dezelfde manier kunt scoren. De tabellen waarin een leverancier laat zien dat zijn nieuwe model een concurrent verslaat, zijn benchmarkscores. Voor een bedrijf helpen ze kiezen welke modellen je uitprobeert, al kunnen je eigen taken verschillen van die in de toets.

Hoe werkt een benchmark?

Een benchmark combineert voorbeelden met bekende antwoorden, een taak en een manier van scoren, en de uitslagen belanden vaak op een openbare ranglijst (leaderboard). MMLU (Hendrycks e.a., 2020) stelt meerkeuzevragen in 57 vakgebieden, van elementaire wiskunde tot recht, en scoort het aandeel goede antwoorden. HumanEval (Chen e.a., OpenAI, 2021) bevat 164 programmeeropdrachten en rekent een oplossing alleen goed als die de unittests doorstaat. De score pass@k is het aandeel opdrachten dat het model oplost als het k pogingen krijgt.

Sommige benchmarks gebruiken mensen in plaats van een antwoordsleutel. Op Chatbot Arena, in 2023 begonnen aan UC Berkeley, stellen bezoekers een vraag aan twee anonieme modellen en stemmen op het beste antwoord, en de stemmen worden omgezet in een ranglijst (Chiang e.a., 2024). Het project heette daarna LMArena en sinds januari 2026 Arena.

Welke benchmarks kom je vaak tegen?

• GSM8K: 8.500 rekenverhaaltjes op basisschoolniveau.
• SWE-bench: 2.294 echte GitHub-issues uit 12 Python-projecten; het model moet de code zo aanpassen dat het issue is opgelost.
• GPQA: 448 meerkeuzevragen over biologie, natuurkunde en scheikunde, waarop experts met een promotie 65% halen en bekwame niet-experts met internettoegang 34%.
• Humanity's Last Exam: 2.500 vragen van experts, gemaakt omdat grote taalmodellen op populaire toetsen als MMLU boven de 90% scoren.

Waar gaat het mis?

Een benchmark onderscheidt modellen niet meer zodra ze allemaal bijna het maximum halen, en daarom verschijnen er steeds moeilijkere, zoals Humanity's Last Exam. Toetsvragen kunnen ook in de trainingsdata belanden. Zhang e.a. (2024) lieten 1.205 nieuwe opgaven schrijven in de stijl van GSM8K (GSM1k) en zagen de nauwkeurigheid tot 8% dalen. Een aantal modelfamilies bleek de oorspronkelijke toets deels te hebben onthouden, een vorm van overfitting op de benchmark zelf; bij de beste modellen was daar weinig van te zien.

Ook ranglijsten zijn te bespelen. The Leaderboard Illusion (Singh e.a., 2025) laat zien dat sommige aanbieders meerdere privéversies van een model op Chatbot Arena testen en alleen de beste score publiceren; Meta testte 27 varianten voor de lancering van Llama 4. Diezelfde risico's zijn een reden om een kleine eigen testset bij te houden, bijvoorbeeld echte klantvragen met de antwoorden die je zou accepteren, en die op elk model te draaien dat je overweegt (agent evaluation werkt op dezelfde manier).

Voorbeeld

In maart 2023 gaf het technische rapport van GPT-4 van OpenAI GPT-4 een score van 86,4% op MMLU, tegenover 70,0% voor GPT-3.5, allebei met vijf uitgewerkte voorbeelden in de prompt. Het rapport noemde ook een score van 298 van de 400 op een gesimuleerd Amerikaans advocatenexamen (bar exam), rond het 90e percentiel. Martínez (2024) rekende dat percentiel na: tegenover mensen die het examen voor het eerst deden schatte hij het 62e, en tegenover mensen die slaagden het 48e.