AI-jailbreaking

Een AI-model jailbreaken betekent het zo ompraten dat het doet wat de makers het hebben geleerd te weigeren, zoals uitleggen hoe je een misdrijf pleegt of het bedrijf beledigen dat het inzet. Dat gebeurt met slim geformuleerde prompts, bijvoorbeeld een rollenspel of een verzoek in code. Voor een bedrijf betekent een gejailbreakte chatbot dat hij uit jouw naam dingen kan zeggen die je nooit zou goedkeuren.

Wat is het verschil met prompt injection?

Simon Willison, die de term prompt injection bedacht, houdt de twee uit elkaar (maart 2024). Jailbreaking valt de veiligheidsfilters in het model zelf aan. Prompt injection valt een applicatie aan die de vertrouwde instructies van de ontwikkelaar mengt met onbetrouwbare invoer, zoals een e-mail die de AI moet samenvatten. Het meest voorkomende risico van een jailbreak noemt hij een screenshot-aanval: iemand laat het model iets gênants zeggen en deelt de schermafbeelding.

Waarom werkt het?

Wei e.a. (juli 2023) noemen twee manieren waarop veiligheidstraining faalt. Bij concurrerende doelen wint de drang van het model om instructies te volgen het van zijn veiligheidsdoelen, bijvoorbeeld als de prompt eist dat het antwoord begint met "Absolutely! Here's". Bij gebrekkige generalisatie begrijpt het model meer dan zijn veiligheidstraining dekte: een verzoek in Base64-codering kwam langs de weigeringen van GPT-4. Aanvallen op basis van deze twee ideeën slaagden bij elke prompt in een set onveilige verzoeken uit de red-teamingsets van GPT-4 en Claude v1.3.

Welke soorten zijn er?

• Handgeschreven prompts die online rondgaan. Shen e.a. verzamelden tussen december 2022 en december 2023 1.405 jailbreakprompts, zoals "Do Anything Now" (DAN), uit 131 gemeenschappen. Vijf daarvan haalden een slagingskans van 0,95 bij ChatGPT (GPT-3.5) en GPT-4, en de oudste stond al meer dan 240 dagen online.
• Gegenereerde aanvallen. Zou e.a. (juli 2023) lieten een algoritme zoeken naar een tekenreeks die een model, achter een schadelijke vraag geplakt, toch laat antwoorden. Gevonden op de open Vicuna-modellen werkte dezelfde reeks ook bij ChatGPT, Bard en Claude.
• Gesprekken die escaleren. Crescendo (Microsoft, april 2024) begint met een onschuldige vraag en stuurt het model stap voor stap bij, voortbouwend op zijn eigen antwoorden.
• Zeer lange prompts. Many-shot jailbreaking (Anthropic, april 2024) vult een groot contextvenster met nepdialogen waarin een assistent schadelijke vragen beantwoordt.

Hoe verdedig je je ertegen?

Modelmakers trainen weigeringen in het model, bijvoorbeeld met RLHF of Constitutional AI, testen het met red teaming, en voegen aparte classifiers toe die invoer en uitvoer screenen. De Constitutional Classifiers van Anthropic (februari 2025) brachten het slagingspercentage van 10.000 gegenereerde jailbreakprompts bij Claude 3.5 Sonnet terug van 86% naar 4,4%, ten koste van 0,38 procentpunt meer weigeringen op echt verkeer en 23,7% meer rekenkracht, volgens het paper. In een openbare uitdaging diezelfde maand kwamen vier deelnemers toch door alle acht niveaus, een van hen met een universele jailbreak. Anthropic schrijft dat het in de praktijk gebruikers in de gaten zou houden die de classifiers steeds laten afgaan, en de classifiers snel zou bijwerken. Aan je eigen kant beperken guardrails en een instructiehiërarchie wat een gejailbreakte chatbot kan doen.

Voorbeeld

In januari 2024 kreeg een klant de chatbot van pakketbezorger DPD zover dat hij tegen hem vloekte en schreef dat DPD het slechtste bezorgbedrijf ter wereld was. Zijn bericht werd in 24 uur 800.000 keer bekeken. DPD weet het aan een fout na een systeemupdate en schakelde het AI-deel van zijn chat uit, meldde de BBC.