Red teaming bij AI

Red teaming betekent dat je je eigen AI-systeem met opzet aanvalt, voordat klanten of criminelen dat doen. Testers proberen een chatbot of AI-agent gegevens te laten lekken, iets te laten beloven wat niet mag, schadelijke antwoorden te laten geven of verboden acties te laten uitvoeren. Wat ze vinden, wordt vóór de lancering opgelost. Zo vind je als bedrijf de zwakke plekken van je chatbot voordat een ander dat doet.

Waar komt de term vandaan?

De term stamt uit de jaren 1960 in de Verenigde Staten. De RAND Corporation voerde tijdens de Koude Oorlog simulaties uit voor het leger, waarin het rode team de Sovjet-Unie speelde en het blauwe team de Verenigde Staten, vat Wikipedia samen. In de IT-beveiliging speelt een red team de aanvaller van de eigen organisatie. Red teaming bij AI past dat idee toe op AI-modellen en de producten die erop zijn gebouwd.

Hoe werkt het?

Mensen schrijven aanvallen met de hand: jailbreaks, prompt injection, vragen om gevaarlijke informatie, pogingen om persoonsgegevens los te krijgen. Anthropic (Ganguli e.a., augustus 2022) liet mensen zijn modellen aanvallen en publiceerde de 38.961 aanvallen als dataset. Zijn modellen die met RLHF waren getraind, werden moeilijker te kraken naarmate ze groter werden.

Een AI-model kan ook zelf de aanvaller spelen. Onderzoekers van DeepMind (Perez e.a., februari 2022) lieten het ene taalmodel testvragen bedenken voor het andere. Ze vonden tienduizenden beledigende antwoorden in een chatbot van 280 miljard parameters, plus telefoonnummers die de chatbot als de zijne opgaf en uitgelekte trainingsdata.

Het AI Red Team van Microsoft, dat meer dan 100 generatieve AI-producten testte, combineert beide (Bullwinkel e.a., januari 2025): automatisering om meer terrein te dekken, mensen voor oordeel en context. Het hulpmiddel voor het geautomatiseerde deel, PyRIT, is open source.

Wat hebben red teams geleerd?

Het team van Microsoft noemt acht lessen. Drie springen eruit:

• Eenvoudige aanvallen werken. Het team citeert de uitspraak "real attackers don't compute gradients, they prompt engineer": slim geformuleerde prompts werken vaak even goed als wiskundig geoptimaliseerde aanvallen.
• Red teaming is iets anders dan benchmarken. Een benchmark meet bekende risico's; een red team zoekt nieuwe, in de situatie waarin het systeem wordt gebruikt.
• Het werk is nooit af. Het haalbare doel is dat een aanval meer kost dan hij oplevert, via rondes van aanvallen en repareren die Microsoft break-fix cycles noemt.

Die kosten zijn te meten. In april 2026 stelde het beveiligingsbedrijf Fabraix ACE voor: het bedrag dat een geautomatiseerde aanvaller uitgeeft voordat een AI-agent een verboden tool aanroept. Alle zes geteste budgetmodellen werden gekraakt, tegen gemiddeld $0,23 tot $10,21.

Wie moet het doen?

Modelmakers doen aan red teaming voor een release; OpenAI beschrijft in een whitepaper (januari 2025) hoe het daarvoor met externe experts werkt. In de EU verplicht de AI-verordening het sinds 2 augustus 2025 voor AI-modellen voor algemene doeleinden met een systeemrisico, de sterkste modellen: hun makers moeten tests uitvoeren en documenteren die kwetsbaarheden van het model blootleggen (artikel 55), met red teaming als genoemd voorbeeld (bijlage XI). OpenAI noemt ook de grenzen: een test legt één moment vast terwijl modellen blijven veranderen, en hij kost tijd en geld die kleinere organisaties misschien niet hebben.

Voorbeeld

Stel: een webshop gaat een supportchatbot lanceren. Twee medewerkers proberen hem een middag lang te breken: ze vragen naar de bestelling van een andere klant, doen zich voor als eigenaar, vragen om een kortingscode, plakken een webpagina met verborgen instructies in het gesprek en stellen vragen over onderwerpen waar de winkel niets mee doet. Elke prompt en elk antwoord gaat in een spreadsheet, met een notitie over wat er misging. Na de reparaties, zoals een strakkere systeemprompt en een terugbetaallimiet in het ordersysteem zelf, doen ze dezelfde tests opnieuw.