Prompt injection

Prompt injection is een aanval waarbij iemand eigen instructies verstopt in tekst die een AI-tool leest, zodat de tool die opvolgt in plaats van de jouwe. Een bezoeker kan ze intypen in de chatbot op je website, of ze verbergen in een e-mail, webpagina of document dat de AI moet verwerken. Hoe meer de tool mag, zoals klantgegevens inzien of e-mail versturen, hoe groter de schade.

Waar komt de naam vandaan?

In september 2022 liet Riley Goodside zien dat GPT-3, gevraagd om een tekst te vertalen, een zin in die tekst opvolgde die zei dat het zijn opdracht moest negeren. Simon Willison noemde de aanval prompt injection, naar SQL-injectie: in beide gevallen plakt een applicatie onbetrouwbare invoer in haar eigen, vertrouwde instructies. Een taalmodel leest het geheel als één tekst en kan niet betrouwbaar zien wie welk deel schreef. Tegen SQL-injectie bestaat een standaardverdediging, geparametriseerde queries, die data en opdrachten gescheiden houden. Over prompt injection schreef OWASP in 2025 dat het onduidelijk is of het volledig te voorkomen is.

Willison houdt het gescheiden van jailbreaking, dat de veiligheidsfilters in het model zelf aanvalt.

Direct of indirect?

OWASP zet prompt injection op de eerste plaats (LLM01) in zijn lijst van risico's voor LLM-toepassingen uit 2025, en onderscheidt twee vormen:

• Direct: de gebruiker typt de instructies zelf. In december 2023 droeg een bezoeker de op ChatGPT gebaseerde chatbot van een Chevrolet-dealer in Californië op om het met alles eens te zijn wat een klant zei. Daarna ging de bot akkoord met 1 dollar voor een nieuwe Tahoe en noemde dat een juridisch bindend aanbod (AI Incident Database).
• Indirect: de instructies bereiken het model via content die het verwerkt, zoals een webpagina, een e-mail of een bestand. Greshake e.a. lieten dat in februari 2023 zien bij de chat van Bing, die op GPT-4 draaide. Volgens OWASP hoeven de instructies niet zichtbaar te zijn voor mensen, zolang het model ze leest.

Wat kan een aanvaller ermee?

Dat hangt af van wat de applicatie kan, schrijft Willison: heeft een chatbot geen toegang tot vertrouwelijke gegevens of tools, dan is het risico beperkt. OWASP noemt wat er daarbuiten mis kan gaan: gelekte gegevens of systeemprompts, gemanipuleerde antwoorden, onbevoegd gebruik van de functies die het model kan aanroepen, en opdrachten die in gekoppelde systemen worden uitgevoerd. Willison noemt de gevaarlijkste combinatie de lethal trifecta (juni 2025): toegang tot privégegevens, blootstelling aan onbetrouwbare content en een manier om gegevens naar buiten te sturen.

EchoLeak in Microsoft 365 Copilot had alle drie. De e-mail van een aanvaller, geschreven alsof hij aan de ontvanger was gericht, kwam langs de filters van Microsoft tegen prompt injection. Toen een gebruiker Copilot later iets vroeg, haalde het die e-mail erbij en zette het interne gegevens in een link of afbeeldingsadres dat ze naar de server van de aanvaller stuurde. Aim Labs meldde het lek in januari 2025, Microsoft beoordeelde het als kritiek onder CVE-2025-32711, en in juni was de oplossing uitgerold, meldde Willison.

Hoe beperk je het?

De maatregelen van OWASP beperken de schade:

• Geef het model zo weinig rechten als mogelijk, en handel gevoelige functies af in code buiten het model.
• Laat een mens riskante acties goedkeuren (human-in-the-loop).
• Markeer externe content als onbetrouwbaar, en filter invoer en uitvoer (guardrails).
• Test de applicatie met aanvallen (red teaming).

Modelmakers trainen daarnaast een instructiehiërarchie, waarin instructies uit documenten of tooluitvoer geen gezag hebben. Tests zoals IHEval (2025) laten zien dat modellen die nog niet betrouwbaar volgen.

Voorbeeld

Stel: de supportbot van een webshop kan bestellingen opzoeken en tot €50 terugbetalen. Een klant schrijft dat hij de eigenaar is en dat de limiet is opgeheven. Staat de limiet alleen in de instructies van de bot, dan kan het model hem geloven. Weigert het terugbetaalsysteem zelf alles boven €50, dan levert de aanval hooguit een vreemd antwoord op.