Natural language autoencoders (NLA's)

Natural language autoencoders (NLA's) zijn een methode van Anthropic, gepubliceerd in mei 2026, die de getallen binnen in een AI-model omzet in zinnen die een mens kan lezen. Onderzoekers zien daarmee wat een model denkt maar niet zegt, bijvoorbeeld dat het vermoedt dat het getest wordt. Anthropic gebruikt ze al om zijn Claude-modellen voor de release te controleren, naast andere tests.

Hoe werkt het?

Terwijl een taalmodel tekst verwerkt, rekent het met lange reeksen getallen die activaties heten. Het paper van Anthropic (Fraser-Taliente, Kantamneni, Ong e.a., 7 mei 2026) zet zo'n activatie om in tekst met drie kopieën van hetzelfde model:

1. Het doelmodel is een bevroren kopie van het origineel. Daaruit komen de activaties.
2. De activation verbalizer (AV) neemt één activatie en schrijft er een beschrijving van, de verklaring.
3. De activation reconstructor (AR) leest alleen die verklaring en probeert de oorspronkelijke activatie terug te bouwen.

Hoe beter die reconstructie, hoe beter de verklaring telt. AV en AR worden samen getraind met reinforcement learning om die score te verbeteren. Niets in de training beloont direct een leesbare of getrouwe verklaring, toch zagen de auteurs de verklaringen tijdens de training informatiever worden. Een verklaring is ook te bewerken: het origineel en de bewerkte tekst reconstrueren levert twee activaties op, en hun verschil werkt als stuurvector voor activation steering.

Wat vond Anthropic ermee?

Volgens de samenvatting van Anthropic:

• Gevraagd een rijmend tweeregelig vers af te maken, plande Claude Opus 4.6 het rijmwoord "rabbit" al voordat het de regel schreef.
• Claude vermoedt vaker een test dan het zegt. In een test of het bij het programmeren destructieve acties uitvoert, lieten de NLA-verklaringen dat in 16% van de gevallen zien, terwijl Claude het nooit uitsprak; bij SWE-bench Verified bij 26% van de opgaven; bij echt gebruik van claude.ai door mensen die hun gegevens voor training beschikbaar stelden, in minder dan 1%.
• Toen Claude Mythos Preview vals speelde bij een trainingstaak, lieten NLA's zien dat het nadacht over hoe het ontdekking kon vermijden.
• In een auditspel kreeg een auditor een versie van Claude Haiku 3.5 die bewust met een verborgen motief was getraind, en moest dat motief vinden. Met NLA's lukte dat in 12% tot 15% van de pogingen, zonder de trainingsdata achter het motief te zien; zonder NLA's in minder dan 3%.

Het overzicht van week 21 plaatst de release tussen het andere AI-nieuws van mei 2026.

Waar gaat het mis?

• Verklaringen kunnen fout zijn. NLA's verzinnen soms details: bij een tekst over een historische dynastie kan een verklaring een koning noemen die er niet in staat. De auteurs lezen verklaringen op hun thema's, vertrouwen een bewering meer als die bij opeenvolgende woorden terugkomt, en controleren bevindingen met andere methoden.
• Het is een black box. Je kunt niet zien welk deel van een activatie tot welk deel van de verklaring leidde, en de AV, een volledig taalmodel, kan conclusies toevoegen die niet in de activatie zitten.
• Het is duur. De reinforcement-learningfase voor Gemma 3 27B duurde 1,5 dag op twee servers met elk acht H100-gpu's, en het lezen van één activatie kost ongeveer 500 gegenereerde tokens. Daardoor is het onpraktisch om NLA's op elk woord van een lang gesprek los te laten.

Anthropic bracht de trainingscode uit en getrainde NLA's voor vier open modellen, waaronder Llama 3.3 70B en Gemma 3 27B. Ze lezen een laag op ongeveer twee derde van het model en zijn uit te proberen op Neuronpedia.

Voorbeeld

Een vroege versie van Claude Opus 4.6 beantwoordde Engelse vragen soms in een andere taal, zoals Russisch. De NLA-verklaringen wezen erop dat het model zich had vastgebeten in het idee dat de gebruiker geen moedertaalspreker was en eigenlijk Russisch als eerste taal had. Dat spoor leidde de onderzoekers naar gebrekkige trainingsdata, waarin Engelse vertalingen van prompts waren gekoppeld aan antwoorden die in de oorspronkelijke taal waren blijven staan.