Bias in machine learning

Bias in machine learning betekent dat een AI-systeem sommige groepen mensen stelselmatig slechter behandelt dan andere, vaak omdat het leerde van data waarin die ongelijke behandeling al zat. Een wervingstool die is getraind op eerdere sollicitaties, de meeste van mannen, kan mannen gaan voortrekken. Voor een bedrijf telt het zodra AI meebeslist over mensen, zoals sollicitanten of klanten.

Waar komt bias vandaan?

Suresh en Guttag (MIT, 2019) beschrijven zeven bronnen van schade in het leven van een model. Drie daarvan zitten in de data:

• Historische bias: de data weerspiegelt de wereld zoals die was, dus zelfs perfect gemeten data kan een model een oneerlijk patroon leren.
• Representatiebias: sommige groepen zijn ondervertegenwoordigd, dus werkt het model slechter voor hen.
• Meetbias: een kenmerk of label is een gebrekkige vervanger voor wat je bedoelt, zoals arrestaties als maat voor criminaliteit, terwijl de politie sommige gemeenschappen scherper in de gaten houdt dan andere.

De andere vier zijn aggregatie-, leer-, evaluatie- en inzetbias: één model voor groepen die verschillen, modelkeuzes die verschillen vergroten, een testset die niet bij de gebruikers past, en gebruik voor een doel waarvoor het model niet gebouwd is.

Voorbeelden

• Amazon trainde een systeem om cv's te beoordelen op tien jaar aan sollicitaties, de meeste van mannen, meldde Reuters in oktober 2018. Het strafte cv's af met het woord "women's" en waardeerde afgestudeerden van twee vrouwencolleges lager. Amazon hief het team op en zei dat recruiters de tool nooit gebruikten om kandidaten te beoordelen.
• Gender Shades (Buolamwini en Gebru, 2018) testte drie commerciële systemen die aan een gezicht het geslacht aflezen. De foutpercentages liepen op tot 34,7% voor vrouwen met een donkere huid en bleven hooguit 0,8% voor mannen met een lichte huid.
• De Belastingdienst gebruikte de nationaliteit van aanvragers (wel of niet Nederlander) als indicator in een systeem dat aanvragen voor kinderopvangtoeslag automatisch als risicovol aanwees. In december 2021 legde de Autoriteit Persoonsgegevens de Belastingdienst hiervoor en voor andere discriminerende verwerking van nationaliteit een boete op van 2,75 miljoen euro.
• Taalmodellen ontspringen de dans niet. In 2024 lieten Wilson en Caliskan (University of Washington) embedding-modellen meer dan 500 cv's rangschikken: die gaven in 85,1% van de vergelijkingen de voorkeur aan namen die met witte mensen worden geassocieerd, en maar in 11,1% aan namen die met vrouwen worden geassocieerd.

Hoe test en beperk je het?

• Vergelijk de uitkomsten per groep, zoals het aandeel mannen en vrouwen dat door een cv-selectie komt, voor en na de ingebruikname, en houd een mens betrokken bij beslissingen over mensen (human-in-the-loop).
• Het gevoelige veld weglaten is niet genoeg, want andere data kan ervoor in de plaats komen. Amazon paste zijn systeem aan zodat het neutraal werd voor de gevonden termen, en volgens Reuters bood dat geen garantie tegen andere manieren van sorteren die ook discriminerend konden uitpakken.
• Kies bewust een definitie van eerlijkheid. Kleinberg, Mullainathan en Raghavan bewezen in 2016 dat drie gangbare eerlijkheidsvoorwaarden voor risicoscores niet tegelijk kunnen gelden, op speciale gevallen na.
• Onder de Europese AI-verordening moeten aanbieders van AI met hoog risico, zoals cv-screening, hun trainingsdata onderzoeken op mogelijke bias en maatregelen nemen om die op te sporen, te voorkomen en te beperken (artikel 10); die regels gelden vanaf 2 december 2027. Sinds de AI-omnibus van juli 2026 mogen ook aanbieders en gebruikers van andere AI-systemen gevoelige gegevens zoals etnische afkomst verwerken om bias op te sporen en te corrigeren, bij uitzondering en onder strenge voorwaarden.