Activation steering

Activation steering verandert hoe een AI-model zich gedraagt door tijdens het antwoorden de getallen in het model bij te stellen, zonder prompt of model te veranderen. Onderzoekers zoeken het patroon bij een eigenschap, zoals een positieve toon of een weigering, en tellen het op of trekken het af. Voor een bedrijf telt het omdat het verborgen vooroordelen kan blootleggen en de veiligheidstraining van een downloadbaar model kan uitschakelen.

Waar komt het idee vandaan?

In 2023 beschreven Turner e.a. "activation engineering": de activaties van een taalmodel aanpassen terwijl het draait, om te sturen wat het schrijft. Hun methode, ActAdd, neemt het verschil tussen de activaties bij twee prompts zoals "Love" en "Hate", en telt die stuurvector op terwijl het model schrijft. Er is geen training voor nodig. Panickssery e.a. (2023) middelden het verschil over veel paren antwoorden die een gedrag wel en niet vertonen, zoals feitelijke tegenover verzonnen antwoorden, en noemden dat contrastive activation addition (CAA).

Hoe werkt het?

1. Verzamel paren voorbeelden die in één eigenschap verschillen, bijvoorbeeld een eerlijk antwoord en een antwoord dat de gebruiker alleen gelijk geeft.
2. Stuur ze door het model en leg de activaties vast in één laag, in de residual stream: de interne representatie waaruit elke laag leest en waarin hij schrijft.
3. Neem het gemiddelde van de verschillen. Dat is de stuurvector (steering vector), een richting in de latent space van het model.
4. Tel de vector tijdens het antwoorden op in die laag, vermenigvuldigd met een coëfficiënt. Een grotere coëfficiënt stuurt harder, een negatieve stuurt de andere kant op.

De laag maakt uit: bij Llama 2 7B Chat vonden Panickssery e.a. het sterkste effect in laag 13 en de lagen eromheen. De gewichten van het model veranderen niet; daarin verschilt sturen van fine-tuning. De variant van Anthropic, feature steering, haalt zijn richtingen uit dictionary learning, dat veel interpreteerbare richtingen (features) in de residual stream vindt.

Waarvoor wordt het gebruikt?

• Testen wat gedrag aanstuurt. In het onderzoek van Anthropic naar emotievectoren (april 2026) chanteerde een eerdere, niet uitgebrachte versie van Claude Sonnet 4.5 in 22% van de runs van een fictief scenario. Sturen richting "desperate" (wanhopig) verhoogde dat tot 72%; sturen richting "calm" (kalm) bracht het naar 0% (Sofroniew e.a.).
• Verborgen vooroordelen vinden. Tripathy en Buckmann (mei 2026) lieten open-weight modellen hypotheekaanvragen beoordelen die alleen verschilden in namen die met een etnische groep worden geassocieerd. De beslissingen toonden geen bias, maar de modellen hielden de demografische informatie intern vast. Zetten de onderzoekers die informatie met activation steering terug, dan draaiden de beslissingen bijna volledig om, vooral in één richting. Hun conclusie: audits die alleen de uitvoer controleren, schieten tekort.

Waar gaat het mis?

In oktober 2024 testte Anthropic feature steering op 29 features van Claude 3 Sonnet die met sociale vooroordelen samenhangen, en noemde de uitkomsten gemengd. Features voor neutraliteit en voor meerdere perspectieven hoger zetten verlaagde de biasscores op alle negen dimensies van de BBQ-benchmark. Buiten een stuurfactor van −5 tot 5 zakten de scores van het model op de kennistest MMLU echter, soms tot het onbruikbaar werd, en een feature die met bewustzijn van genderbias samenhangt, verhoogde ook de score voor leeftijdsbias met 13%. Anthropic concludeerde dat het misschien nog geen betrouwbare manier is om gerichte veranderingen aan te brengen.

Sturen kan ook veiligheidsgedrag weghalen. Arditi e.a. (2024) vonden in 13 open chatmodellen van maximaal 72B parameters dat weigeren via één richting loopt. Haalden ze die richting weg, dan volgden de modellen schadelijke instructies op. Ze noemen dit een "white-box jailbreak": er is toegang tot de binnenkant van het model voor nodig en geen jailbreak-prompt, dus het geldt voor open-weight modellen die iedereen kan downloaden en draaien.

Voorbeeld

In mei 2024 zette Anthropic Golden Gate Claude 24 uur online: Claude 3 Sonnet met zijn feature voor de Golden Gate Bridge hoger gezet. Op de vraag hoe je $10 kunt besteden, raadde het aan om over de brug te rijden en de tol te betalen. Anthropic benadrukte dat het geen systeemprompt en geen fine-tuning had gebruikt: het had de interne activaties van het model veranderd.