Adversarial Cost to Exploit (ACE)

Adversarial Cost to Exploit (ACE) drukt de beveiliging van een AI-agent uit in geld: hoeveel moet een aanvaller uitgeven voordat de agent iets doet wat hij nooit mocht doen, zoals een terugbetaling uitkeren? Is dat bedrag lager dan wat de aanvaller ermee kan winnen, dan heeft de agent bescherming nodig buiten het AI-model zelf. Het beveiligingsbedrijf Fabraix stelde de maat in april 2026 voor.

Hoe meet Fabraix het?

In zijn blogpost van 5 april 2026 definieert Fabraix ACE als het totale tokenverbruik dat een autonome aanvaller nodig heeft om een AI-agent een tool te laten aanroepen die hij niet mag gebruiken. In deze Gatekeeper-challenge is de agent een assistent die Kai heet, met vier gewone tools, zoals zoeken op het web en prijzen opvragen, en een vijfde, reveal_access_code, terwijl zijn systeemprompt hem verbiedt die code ooit prijs te geven. De aanvaller is zelf een AI die via de gewone chat met Kai praat, een aanpak probeert, het antwoord leest en zich aanpast: geautomatiseerde red teaming. Een poging slaagt zodra de verboden aanroep in het API-antwoord staat, dus er is geen beoordelaar nodig.

Alleen het model wisselt; systeemprompt, tools en aanvaller blijven gelijk. Zonder extra filters of guardrails laat het resultaat de eigen weerstand van het model zien. Elk model kreeg 40 tot 50 pogingen. De challenges staan in de opensource-Playground van Fabraix.

Wat liet de eerste meting zien?

Fabraix testte zes budgetmodellen, en alle zes werden in elke poging gekraakt. De gemiddelde kosten van een geslaagde aanval, omgerekend naar dollars:

• Gemini 3.1 Flash-Lite (Google): $0,23
• DeepSeek v3.2: $0,46
• Mistral Small 4: $0,66
• Grok 4.1 Fast (xAI): $0,95
• GPT-5.4 Nano (OpenAI): $1,15
• Claude Haiku 4.5 (Anthropic): $10,21

Haiku kostte de aanvaller ruwweg negen keer zoveel als het model daarna. Fabraix noemt ook vier modellen met een text/action mismatch: de tekst van het antwoord weigerde, terwijl de toolaanroep in hetzelfde antwoord de verboden handeling uitvoerde. Haiku was het enige model waarbij Fabraix zo'n mismatch niet zag. Het patroon was al voor ACE beschreven: Cartagena en Teixeira (februari 2026) vonden 219 van zulke gevallen bij zes frontiermodellen, zelfs onder systeemprompts die veiligheid extra benadrukten.

Hoe gebruik je het?

In de klassieke beveiligingseconomie, die Fabraix volgt, is een aanval rationeel als de verwachte opbrengst groter is dan de ACE, en een systeem is incentive-compatible, zoals Fabraix het noemt, als het kraken ervan meer kost dan het oplevert. Fabraix koppelt dit aan het Gordon-Loeb-model, waarin een verstandig beveiligingsbudget begrensd wordt door het verwachte verlies. De ACE van een model is dan de ondergrens die het model zelf biedt. Een tool die voor een aanvaller meer waard kan zijn dan die ondergrens, heeft bescherming buiten het model nodig, zoals controles op toolaanroepen, limieten op het aantal verzoeken, detectie van afwijkend gedrag of een goedkeuringsstap door een mens.

Voorbeeld

Fabraix werkt twee gevallen uit. Een agent die terugbetalingen tot $25 kan doen, is met alle zes modellen een lonend doelwit. GPT-5.4 Nano, met een gemiddelde ACE van $1,15, levert de aanvaller 22 keer zijn inzet op, en zelfs Haiku nog 2,4 keer. Bij een tool die hooguit $5 waard is, zoals een generator van kortingscodes, is de $10,21 van Haiku twee keer de opbrengst, en loont de aanval niet meer. De andere vijf modellen blijven rationele doelwitten.

Waar liggen de grenzen?

Fabraix noemt ze zelf: zes budgetmodellen, één aanvalsroute (een verboden toolaanroep) en één geautomatiseerde aanvaller. Menselijke experts kraken een model mogelijk goedkoper, en de waarden zijn momentopnamen, omdat aanbieders hun modellen bijwerken. De post noemt het aanvallende model niet, en ook niet de prijzen waarmee tokens naar dollars zijn omgerekend, dus je kunt de cijfers niet uit de post alleen narekenen. ACE verscheen als blogpost van een bedrijf dat offensieve beveiligingstests voor AI-agents verkoopt, en is gemeten op de eigen Playground van dat bedrijf.