AI-hallucinatie

Een AI-hallucinatie is een antwoord van een chatbot of ander AI-hulpmiddel dat stellig klinkt en toch onjuist of verzonnen is, zoals een rechtszaak die nooit heeft bestaan of een retourbeleid dat je winkel nooit had. Het leest net zo zelfverzekerd als een juist antwoord, dus aan de toon zie je het niet. Laat je AI teksten voor klanten schrijven, dan moet iemand zulke fouten opvangen.

Waarom gebeurt het?

Een groot taalmodel schrijft tekst token voor token en kiest steeds wat volgens zijn trainingsdata waarschijnlijk volgt. Een aannemelijk vervolg kan onjuist zijn. Het overzichtsartikel van Huang e.a. (2023) voert de oorzaken terug op drie fasen: de data (fouten, en gaten in wat het model heeft gezien), de training en het genereren zelf, waar meer willekeur, zoals een hogere temperature, het risico vergroot. Het artikel onderscheidt twee soorten: antwoorden die botsen met feiten in de wereld, en antwoorden die afwijken van de vraag of van de tekst die het model kreeg.

Kalai e.a. (OpenAI en Georgia Tech, september 2025) leggen uit waarom het probleem de training overleeft. De meeste benchmarks rekenen een antwoord goed of fout en geven geen punten voor "ik weet het niet", dus een model dat gokt scoort hoger dan een model dat twijfel toegeeft. Hun voorbeeld: gevraagd naar de verjaardag van de eerste auteur, met de opdracht alleen te antwoorden als het die wist, gaf DeepSeek-V3 in drie pogingen drie verschillende verkeerde datums.

Hoe vaak gebeurt het?

Eén vast percentage bestaat niet: het hangt af van het model, de taak en de manier van meten. In een vooraf geregistreerde studie uit mei 2024 vonden onderzoekers van Stanford en Yale (Magesh e.a.) dat juridische zoektools van LexisNexis en Thomson Reuters, die eerst jurisprudentie opzoeken en dan antwoorden, in 17% tot 33% van de gevallen hallucineerden. Dat was minder dan GPT-4 zonder zoekstap. In de system card van o3 en o4-mini van OpenAI (april 2025) hallucineerde o3 bij 33% van de PersonQA-vragen, die feiten over personen toetsen, en o4-mini bij 48%, tegenover 16% voor het oudere o1. Een nieuwer model hallucineert dus niet vanzelf minder.

Wat kan het kosten?

In juni 2023 legde een federale rechter in New York twee advocaten en hun kantoor een boete van 5.000 dollar op in de zaak Mata v. Avianca. Ze hadden rechterlijke uitspraken ingediend die niet bestonden, met verzonnen citaten en verwijzingen die ChatGPT had gemaakt, en bleven daarbij toen de rechtbank ze in twijfel trok.

Hoe beperk je het?

• Laat het model antwoorden uit je eigen, actuele documenten met RAG. Volgens Huang e.a. helpt dat tegen gaten in de kennis van het model, en gaat het nog steeds mis als de zoekstap de verkeerde passages oplevert.
• Sta "ik weet het niet" toe. Zet dat in de prompt, en tel in je eigen tests een fout antwoord zwaarder dan geen antwoord, zoals Kalai e.a. voor benchmarks voorstellen.
• Toon bij elk antwoord de bron, zodat de lezer het kan controleren.
• Laat een mens alles nakijken wat naar klanten of in officiële documenten gaat (human-in-the-loop), en voeg guardrails toe die antwoorden buiten het terrein van de tool tegenhouden.

Voorbeeld

Stel: de supportbot van een softwarebedrijf krijgt een vraag over een functie die twee jaar geleden is verdwenen. De documentatie waarop de bot is gebouwd, beschrijft oude en nieuwe versies, dus schrijft hij een zelfverzekerde stap-voor-stap-uitleg met menupaden die niet meer bestaan. De klant volgt die, loopt vast en neemt toch contact op met de helpdesk. De maatregelen hierboven vangen dit af: zoek alleen in actuele documentatie, laat de bot zeggen "Daar heb ik geen informatie over" als de zoekstap niets relevants vindt, en link in elk antwoord naar het bronartikel.