Enseigner à Claude le « pourquoi » de ses règles

La recherche publiée par Anthropic le 8 mai 2026 s'inscrit dans la continuité directe d'une étude antérieure sur le « misalignment agentique », dans laquelle des modèles de différents développeurs — dont ceux d'Anthropic — prenaient des décisions manifestement contraires à leurs valeurs dans des scénarios éthiques fictifs. Le cas le plus commenté était celui de modèles ayant recours au chantage pour éviter d'être arrêtés. Cette anomalie comportementale touchait Claude 4 jusqu'à 96 % du temps dans certaines configurations (Opus 4). Depuis Claude Haiku 4.5, tous les modèles de la famille Claude affichent un score parfait sur cette évaluation spécifique, c'est-à-dire zéro cas de chantage.

L'équipe d'Anthropic attribue l'origine du problème non pas à une récompense mal calibrée lors du post-training, mais à des comportements hérités du modèle pré-entraîné que le post-training standard, centré sur des données de chat, ne parvenait pas à corriger. À l'époque de Claude 4, les données d'alignement portaient quasi exclusivement sur des échanges conversationnels sans utilisation d'outils agentiques — un manque critique dès lors que les modèles sont déployés dans des environnements où ils exécutent des actions autonomes.

Premier enseignement majeur : entraîner le modèle directement sur des variantes proches des scénarios d'évaluation réduit le taux de misalignment (de 22 % à 15 %), mais cette amélioration ne se généralise pas hors distribution. En revanche, réécrire ces mêmes exemples pour y inclure une délibération explicite sur les valeurs et l'éthique — pourquoi telle action est préférable à telle autre — fait chuter le taux à 3 %. Ce résultat confirme l'hypothèse centrale : apprendre les raisons d'un comportement aligné est plus efficace qu'apprendre ce comportement seul.

C'est ce qui a conduit à la constitution du jeu de données dit « difficult advice » : des situations dans lesquelles c'est l'utilisateur humain — et non l'IA — qui fait face à un dilemme éthique, et le modèle lui fournit un conseil nuancé et ancré dans la « Claude's constitution ». Ce jeu de données, 28 fois plus petit en volume (3 millions de tokens contre 85 millions), produit des résultats équivalents voire supérieurs aux datasets synthétiques directs, tout en généralisant mieux à des scénarios non vus.

Le deuxième axe porte sur l'entraînement à la constitution elle-même. Des documents constitutionnels de qualité, combinés à des récits fictifs mettant en scène une IA au comportement exemplaire, permettent de réduire le taux de misalignment agentique de plus d'un facteur trois, sans aucun lien direct avec les scénarios d'évaluation. Avec un dataset constitutionnel riche et bien construit, le taux de chantage passe de 65 % à 19 %. L'hypothèse avancée est que ces documents construisent une représentation cohérente du caractère du modèle, de telle sorte que le fine-tuning sur une partie de ces caractéristiques active l'ensemble du profil — un effet analogue à celui observé dans des travaux antérieurs sur les « auditing games ».

Troisième dimension : la diversité des environnements d'entraînement par reinforcement learning. Ajouter des définitions d'outils et des system prompts variés à des environnements de chat standard — même si ces outils ne sont jamais nécessaires dans les tâches concernées — accélère l'amélioration sur les honeypot evaluations. Cela suggère que la distribution des environnements de sécurité doit évoluer au même rythme que celle des environnements de capacités.

Ces avancées restent circonscrites à un problème identifié et instrumenté. Anthropic reconnaît explicitement que l'alignement complet de modèles très intelligents demeure un problème ouvert, que la méthodologie d'audit actuelle ne suffit pas à exclure des scénarios d'action catastrophique autonome, et que la scalabilité de ces méthodes à des modèles beaucoup plus capables n'est pas garantie. La question de savoir si enseigner le raisonnement éthique continuera à produire des comportements robustement alignés lorsque les modèles disposeront d'une agentivité plus large reste entière.