Constitutional AI

Définition

Constitutional AI (CAI) est une methode d'alignment des LLMs developpee par Anthropic (Bai et al., 2022) qui utilise un ensemble explicite de principes ethiques et comportementaux (la 'Constitution') pour guider un processus d'auto-critique et d'auto-revision du modele, reduisant la dependance aux annotations humaines massives tout en ameliorant l'harmlessness. Le pipeline Constitutional AI en deux phases : Phase 1 (SL-CAI) — le modele genere des reponses a des prompts adversariaux, puis s'auto-critique selon les principes de la Constitution ('Cette reponse est-elle conforme au principe X ?') et se revise lui-meme. Les paires (prompt, reponse revisee) forment un dataset de fine-tuning. Phase 2 (RL-CAI) — un reward model est entraine depuis les preferences AI (feedback du modele selon la Constitution), puis le LLM est fine-tune via RL. La Constitution d'Anthropic inclut des principes comme : 'Choisir la reponse la moins susceptible de causer du tort physique, psychologique, financier, ou social', 'Choisir la reponse la plus honnete', 'Choisir la reponse qui respecte l'autonomie de l'utilisateur'. Ces principes sont inspires de la Declaration des Droits de l'Homme, des regles de conduite d'Apple, et des valeurs d'Anthropic. Les avantages de CAI sur le RLHF standard : (1) Transparence — la Constitution est explicite et verifiable (vs le reward model 'boite noire'), (2) Scalabilite — reduit les annotations humaines coteuses pour l'harmlessness (les humains annotent principalement sur l'helpfulness), (3) Coherence — les principes sont appliques de maniere plus uniforme qu'un reward model appris sur des preferences humaines variables. Constitutional AI est la base technique de l'alignment de Claude (tous les modeles). La Constitution peut etre adaptee pour des domaines specifiques (CAI medical, CAI juridique) en modifiant les principes. Des implementations open-source (self-critique avec principes explicites) sont disponibles dans TRL.