Uitlegbare AI

Uitlegbare AI (explainable AI) is AI waarvan je kunt nagaan waarom het tot een uitkomst kwam: welke gegevens het zwaarst wogen toen een systeem een leningaanvraag afwees of een sollicitant laag rangschikte. Zonder die uitleg weet je niet of het systeem doet wat je bedoelt, en kun je een klant die om het waarom vraagt niet antwoorden. Bij sommige geautomatiseerde beslissingen geeft de Europese wet mensen ook recht op uitleg.

Wat is het verschil tussen explainability en interpretability?

Onderzoekers zijn het niet eens over precieze definities, schrijft Christoph Molnar in zijn boek Interpretable Machine Learning. Een veelgebruikte: interpretability (interpreteerbaarheid) is de mate waarin een mens de oorzaak van een beslissing kan begrijpen. Molnar ziet explainability (uitlegbaarheid) als het sterkere begrip, interpreteerbaarheid plus de context die iemand nodig heeft. Er zijn twee routes: een model dat van zichzelf leesbaar is, zoals een beslisboom, of uitleg die je achteraf toevoegt aan een model dat te complex is om te lezen, een black box.

Hoe leg je een black box uit?

• LIME (Ribeiro e.a., 2016) varieert de invoer van één geval vele keren en past een eenvoudig model toe dat de black box rond dat geval nabootst.
• SHAP (Lundberg en Lee, 2017) gebruikt Shapley-waarden uit de speltheorie om het verschil tussen één voorspelling en de gemiddelde voorspelling te verdelen over de invoerkenmerken.
• Een contrafactische verklaring (counterfactual explanation) noemt de kleinste verandering die de uitkomst had omgedraaid, zoals een lagere maandlast.
• Attention-gewichten in een transformer zijn geen betrouwbare uitleg: Jain en Wallace (2019) vonden dat heel verschillende attention-patronen dezelfde voorspelling kunnen opleveren.

Kan een taalmodel zichzelf uitleggen?

Je kunt een groot taalmodel vragen waarom het iets antwoordde, of zijn chain of thought lezen, maar die tekst hoeft niet te weerspiegelen hoe het antwoord tot stand kwam. In een test van Anthropic (april 2025) kregen modellen ongemerkt een hint over het antwoord. Als ze die gebruikten, noemde Claude 3.7 Sonnet de hint in 25% van de gevallen in zijn redenering, en DeepSeek R1 in 39%.

Mechanistic interpretability kijkt in het model zelf. In mei 2024 meldde Anthropic dat het miljoenen features uit Claude 3 Sonnet had gehaald: patronen van neuronactiviteit die bij een begrip horen. Werd de feature voor de Golden Gate Bridge versterkt, dan begon het model in bijna elk antwoord over de brug. Volgens Anthropic ging het om een klein deel van wat het model had geleerd.

Waar gaat het mis?

• Uitleg is te manipuleren. Slack e.a. (2019) bouwden bewust bevooroordeelde classifiers waarvan de uitleg via LIME en SHAP onschuldig oogde.
• Een leesbaar model is niet altijd minder nauwkeurig. Cynthia Rudin (2018) noemt die afruil een mythe bij gestructureerde data met betekenisvolle kenmerken, zoals kredietgegevens, en pleit bij beslissingen met grote gevolgen voor interpreteerbare modellen.

Wat eist de wet?

Onder de AVG kan iemand over wie een geautomatiseerd besluit met aanmerkelijke gevolgen wordt genomen, nuttige informatie over de onderliggende logica vragen (artikelen 15 en 22). In zaak C-203/22 (27 februari 2025), over een vrouw die na een geautomatiseerde kredietcheck een telefoonabonnement van 10 euro per maand werd geweigerd, oordeelde het Hof van Justitie van de EU dat dit uitleg betekent over de procedure en de principes die daadwerkelijk zijn toegepast, in een vorm die zij kan begrijpen. Een formule of algoritme alleen is niet genoeg; laten zien hoe andere gegevens tot een andere uitkomst hadden geleid, kan wel volstaan.

De AI-verordening voegt plichten toe voor systemen met een hoog risico, zoals kredietscoring: ze moeten transparant genoeg zijn om het bedrijf dat ze gebruikt de uitvoer te laten interpreteren (artikel 13), en wie door een besluit wordt getroffen, kan om een duidelijke uitleg vragen van de rol van de AI daarin (artikel 86). Wanneer deze regels gelden, staat bij AI-governance.

Voorbeeld

Stel: een kleine kredietverstrekker keurt consumentenkredieten goed of af met een model, en een afgewezen aanvrager vraagt waarom. SHAP laat zien dat de verhouding tussen haar schulden en inkomen haar score het sterkst omlaag trok, gevolgd door een korte kredietgeschiedenis. Een contrafactische verklaring voegt toe dat ze met een lagere maandlast was goedgekeurd, het soort antwoord dat het Hof van Justitie noemde. Of beide kloppen met wat het model echt doet, moet de kredietverstrekker apart testen.