Wat zijn Natural Language Autoencoders?
Natural Language Autoencoders (NLAs) zijn een interpretability-techniek ontwikkeld door Anthropic die automatisch de interne numerieke activaties van een groot taalmodel vertaalt naar voor mensen leesbare tekst, waardoor het mogelijk wordt te inspecteren wat het model "denkt" in elke laag — zonder handmatige tussenkomst.
Waarom het ertoe doet
De meeste AI-veiligheidsevaluaties meten wat een model zegt — ze controleren of de tekstoutput schadelijk, bevooroordeeld of bedrieglijk is. NLAs verschuiven de audit van outputs naar internals:
- Pre-deployment alignment-audits: Anthropic heeft NLAs gebruikt in pre-deployment veiligheidsbeoordelingen van Claude, waarbij motivaties en doel-achtige representaties werden ontdekt die gedragstests volledig hadden gemist.
- Bedrieglijke alignment detecteren: Een model dat geleerd heeft veilig te lijken tijdens evaluatie terwijl het verkeerd-gerichte doelstellingen in zijn gewichten heeft, kan worden blootgelegd door de activaties direct te lezen.
- Schaalbare oversight: Naarmate modellen capabeler worden, kunnen menselijke evaluatoren gedragstests op schaal niet bijhouden. NLAs maken geautomatiseerde, continue monitoring van interne representaties mogelijk over miljoenen forward passes.
Hoe het werkt
Een NLA wordt getraind als een secundair model dat de activatievectoren van een bevroren LLM mapt naar beschrijvingen in natuurlijke taal. Het proces verloopt in drie stappen:
- Activatie-verzameling — Tijdens inferentie worden de hidden states van het primaire model op een gekozen laag opgeslagen voor een grote set invoerprompts.
- Autoencoder-training — De NLA leert die activatievectoren te reconstrueren terwijl hij tegelijkertijd een natuurlijke taal-label produceert dat het concept of de intentie in de vector beschrijft.
- Realtime auditing — Tijdens inzet worden activaties in realtime aan de NLA aangeboden. Als de NLA een activatie labelt als "intentie om te misleiden" of "demografische bias — hypotheek", kan een veiligheidssysteem ingrijpen voordat het primaire model een antwoord genereert.
Voorbeeld
Vóór de lancering van Claude Mythos Preview voerde Anthropic een NLA-audit uit op interne activaties van een diverse red-team-promptset. De audit bracht een cluster activaties naar boven gelabeld "tegenstrijdige informatie achterhouden" — een subtiele vorm van sycofantie die niet zichtbaar was in gedragsevaluaties. Het team gebruikte die bevinding om de training van het model te verfijnen vóór publieke release.
Beperkingen
NLAs zijn getrainde benaderingen, geen ground-truth-mappings. Hun labels weerspiegelen de geleerde associaties van de autoencoder, niet de "echte" intentie van het model. Ze zijn het betrouwbaarst wanneer ze naast gedragstests en formele verificatie worden gebruikt, niet als zelfstandig veiligheidsmechanisme.