Human-in-the-loop (HITL)

Human-in-the-loop betekent dat een mens nakijkt of goedkeurt wat een AI-systeem doet voordat het effect heeft. Een AI-tool mag een antwoord aan een klant opstellen of binnenkomende facturen voorsorteren, maar een medewerker leest het resultaat en beslist voordat er iets wordt verstuurd of betaald. Zo kun je fouten van AI opvangen voordat ze iemand bereiken, en bij sommige beslissingen eist de wet het.

Welke vormen zijn er?

In haar ethische richtsnoeren voor betrouwbare AI (april 2019) onderscheidt de deskundigengroep op hoog niveau over AI van de Europese Commissie drie soorten toezicht:

• Human-in-the-loop: een mens kan bij elke beslissing ingrijpen. De richtsnoeren voegen toe dat dit vaak niet mogelijk of niet wenselijk is.
• Human-on-the-loop: een mens werkt mee aan het ontwerp van het systeem en houdt het in de gaten terwijl het draait.
• Human-in-command: een mens houdt toezicht op het systeem als geheel en beslist wanneer en hoe het wordt ingezet, en kan beslissingen van het systeem terugdraaien.

In de praktijk dekt de term een paar patronen:

• Goedkeuring: de AI stelt een actie voor en een mens bevestigt die. De specificatie van MCP, een standaard waarmee AI-agents op tools aansluiten, schrijft voor dat er "SHOULD always be a human in the loop": een mens die een toolaanroep kan weigeren.
• Escalatie: de AI handelt routinegevallen zelf af en geeft de twijfelgevallen door. Amazon Augmented AI stuurt bijvoorbeeld voorspellingen met een lage zekerheid naar menselijke beoordelaars, en kan een willekeurige steekproef ter controle doorsturen.
• Training: mensen labelen data of rangschikken antwoorden. Bij RLHF leren hun rangschikkingen het model bij, zoals bij InstructGPT van OpenAI (2022).

Wat zegt de wet?

• Onder de AVG (artikel 22) hebben mensen het recht niet te worden onderworpen aan een besluit dat uitsluitend op geautomatiseerde verwerking berust en rechtsgevolgen heeft of hen anderszins in aanmerkelijke mate treft. Is zo'n besluit toegestaan op basis van een overeenkomst of toestemming, dan kunnen ze in elk geval om menselijke tussenkomst vragen.
• De richtsnoeren over geautomatiseerde besluitvorming van de Europese privacytoezichthouders (Groep artikel 29, 2018) voegen toe dat menselijke betrokkenheid alleen telt als die betekenisvol is en geen symbolisch gebaar, en als ze komt van iemand met de bevoegdheid en deskundigheid om het besluit te veranderen.
• De AI-verordening eist dat systemen met een hoog risico zo zijn gebouwd dat mensen er toezicht op kunnen houden (artikel 14): hun beperkingen begrijpen, bedacht blijven op automation bias, de uitvoer terzijde schuiven en het systeem stilzetten. Het bedrijf dat zo'n systeem gebruikt, moet dat toezicht toewijzen aan mensen met de nodige bekwaamheid, opleiding en bevoegdheid (artikel 26). De ingangsdata staan bij AI-governance.

Waar gaat het mis?

Mensen volgen de machine vaak te makkelijk; dat heet automation bias. In een studie in Radiology (mei 2023) beoordeelden 27 radiologen mammogrammen met hulp van wat hun werd voorgesteld als een AI-systeem. Als de suggestie fout was, beoordeelden onervaren lezers 19,8% van de mammogrammen goed, tegenover 79,7% als die klopte; zeer ervaren lezers 45,5% tegenover 82,3%. De richtsnoeren van de toezichthouders trekken de juridische grens: wie geautomatiseerde uitkomsten routinematig overneemt zonder werkelijke invloed op het resultaat, maakt er geen menselijk besluit van.

Voorbeeld

Stel: een administratiekantoor laat AI binnenkomende facturen coderen. Facturen waarover de AI zeker is, worden direct geboekt; de rest komt in een wachtrij waar een boekhouder beslist. Eens per week controleert de boekhouder ook een willekeurige steekproef van de automatisch geboekte facturen, zodat ook fouten in de zekere gevallen boven water komen, en de correcties gaan terug in de regels.