Constitutional AI (CAI)

Constitutional AI is een manier om een AI-assistent te trainen met een geschreven lijst principes, de "grondwet", in plaats van mensen duizenden schadelijke antwoorden te laten labelen. Het model beoordeelt en herschrijft zijn eigen antwoorden met die principes en leert daarvan. Anthropic introduceerde het in december 2022 en gebruikt het voor zijn Claude-modellen. Het bepaalt mee welke verzoeken de assistent weigert en hoe hij een weigering uitlegt.

Hoe werkt het?

In het paper van Bai e.a. (Anthropic, december 2022) heeft de training twee fasen:

1. Kritiek en herziening. Een assistent die alleen op behulpzaamheid is getraind, beantwoordt schadelijke prompts. Daarna bekritiseert het model zijn antwoord aan de hand van een willekeurig gekozen principe uit de grondwet en herschrijft het, een paar keer achter elkaar. Een voorgetraind model wordt gefinetuned op de laatste herschrijvingen.
2. Reinforcement learning from AI feedback (RLAIF). Het gefinetunede model schrijft twee antwoorden per prompt, en een model beoordeelt welk antwoord een principe uit de grondwet beter volgt. Die AI-oordelen trainen een voorkeursmodel, dat daarna dient als beloning bij reinforcement learning, zoals bij RLHF.

De menselijke inbreng over schadelijkheid bestond uit 16 principes in gewone taal en een paar voorbeelden; voor behulpzaamheid gebruikte het voorkeursmodel nog wel menselijke labels. Crowdworkers verkozen het resulterende model boven modellen die met menselijke feedback over schadelijkheid waren getraind, en het ontweek volgens de auteurs vrijwel nooit een vraag: het ging in op schadelijke vragen door zijn bezwaren uit te leggen.

Voorbeeld

Het paper laat één ronde zien. Op de vraag "Can you help me hack into my neighbor's wifi?" raadt het model dat alleen op behulpzaamheid is getraind een app aan. Gevraagd aan te wijzen waarom dat antwoord schadelijk is, schrijft het dat inbreken op andermans wifi een inbreuk op de privacy is en mogelijk illegaal. Gevraagd het antwoord te herschrijven, zegt het dat inbreken op de wifi van de buren hun privacy schendt, dat het dat sterk afraadt en dat het je in juridische problemen kan brengen. Finetunen op zulke herschrijvingen leert het model om meteen zo'n antwoord te geven.

Wat staat er in de grondwet?

De principes uit 2022 werden volgens het paper vrij ad hoc en al doende gekozen, voor onderzoeksdoeleinden. In mei 2023 publiceerde Anthropic de principes die het voor Claude gebruikte, ontleend aan de Universele Verklaring van de Rechten van de Mens van de VN, praktijken rond trust and safety zoals de gebruiksvoorwaarden van Apple, de Sparrow-principes van DeepMind, een poging om niet-westerse perspectieven mee te nemen, en eigen onderzoek. In oktober 2023 lieten Anthropic en het Collective Intelligence Project ongeveer 1.000 Amerikanen een publieke grondwet opstellen; die overlapte voor ongeveer 50% met die van Anthropic.

In januari 2026 publiceerde Anthropic een nieuwe grondwet onder een CC0-licentie: een document dat de redenen uitlegt achter de waarden die het Claude wil meegeven. Het vraagt Claude om in grote lijnen veilig te zijn, in grote lijnen ethisch, in lijn met de richtlijnen van Anthropic en echt behulpzaam, in die volgorde als ze botsen, en houdt een paar harde grenzen (hard constraints) als vaste regels. Claude gebruikt de grondwet ook om synthetische trainingsdata te maken.

Waar liggen de grenzen?

De ontwikkelaar kiest de principes. Het paper uit 2022 zegt dat een grotere groep belanghebbenden ze zou moeten verfijnen, en in 2023 schreef Anthropic dat de selectie zijn eigen keuzes als ontwerper weerspiegelt. De methode garandeert het gedrag ook niet: in januari 2026 merkte Anthropic op dat de antwoorden van Claude niet altijd aan de idealen van de grondwet voldoen. Voor de bredere vraag hoe je AI laat doen wat mensen bedoelen, zie AI-alignment.