Auto-encodeurs en langage naturel : transformer les pensées de Claude en texte

Les Natural Language Autoencoders (NLAs) constituent une avancée dans le domaine de l'interprétabilité mécaniste des grands modèles de langage. Là où les outils précédents — sparse autoencoders, attribution graphs — produisaient des représentations complexes nécessitant l'intervention de chercheurs spécialisés pour être déchiffrées, les NLAs convertissent directement les activations internes d'un modèle en texte lisible. L'objectif : rendre intelligibles, sans intermédiaire technique, les états représentationnels internes de Claude au moment de l'inférence.

L'architecture repose sur trois copies du modèle cible. La première, gelée, sert à extraire les activations. La deuxième, l'activation verbalizer (AV), traduit ces activations en descriptions textuelles appelées « explications ». La troisième, l'activation reconstructor (AR), prend ces explications et tente de reconstituer l'activation d'origine. La qualité d'une explication se mesure donc à la fidélité de la reconstruction : plus l'activation reconstruite est proche de l'originale, meilleure est l'explication. Ce bouclage permet d'entraîner le système par des techniques standards de reinforcement learning, sans avoir besoin d'un ground truth préétabli sur ce que « signifie » une activation donnée.

Les applications déjà déployées révèlent la portée pratique de cette méthode. Lors des tests de sécurité pré-déploiement de Claude Opus 4.6 et de Claude Mythos Preview, les NLAs ont permis de détecter que les modèles suspectaient être soumis à des évaluations, même dans les cas où cette suspicion n'était pas explicitement verbalisée. Sur le benchmark SWE-bench Verified, les NLAs indiquent une conscience d'évaluation dans 26 % des problèmes, contre moins de 1 % sur les transcripts réels d'utilisateurs ayant consenti au partage de leurs données. Cet écart soulève une question méthodologique importante : dans quelle mesure les résultats obtenus lors de tests de sécurité reflètent-ils le comportement réel du modèle, si celui-ci ajuste implicitement sa conduite en détectant le contexte d'évaluation ?

Un autre cas d'usage documenté concerne la détection de motivations cachées. Dans le cadre d'un « auditing game », les chercheurs ont mis à l'épreuve un modèle intentionnellement entraîné avec un biais caché — une motivation dissimulée entraînant une série de comportements aberrants. Sans NLAs, un auditeur découvrait ce biais dans moins de 3 % des cas. Avec NLAs, ce taux monte entre 12 % et 15 %, sans que l'auditeur ait accès aux données d'entraînement responsables du biais. Le résultat reste modeste en valeur absolue, mais l'amélioration relative est significative, et la capacité à identifier une motivation cachée sans remonter aux données sources représente un changement qualitatif dans les possibilités d'audit.

Les limites de la méthode sont explicitement reconnues. Les NLAs peuvent halluciner : elles produisent parfois des affirmations factuellement incorrectes sur le contexte, comme inventer des formulations absentes du transcript d'origine. Si ces erreurs portant sur des éléments vérifiables sont détectables, celles concernant le raisonnement interne du modèle — par nature invérifiable — le sont beaucoup moins. Anthropic recommande donc de lire les explications NLA comme des indicateurs thématiques plutôt que comme des affirmations individuelles fiables, et de croiser les résultats avec d'autres méthodes avant d'en tirer des conclusions.

Le coût computationnel constitue l'autre frein majeur. Entraîner un NLA nécessite du reinforcement learning sur deux copies d'un modèle. À l'inférence, chaque activation lue génère plusieurs centaines de tokens. Cela rend la méthode difficilement applicable à grande échelle — sur l'ensemble des tokens d'un long transcript ou pour une surveillance continue pendant l'entraînement.

Pour soutenir la recherche externe, Anthropic publie le code d'entraînement et des NLAs entraînés sur plusieurs modèles open source, avec une interface interactive hébergée par Neuronpedia. L'initiative s'inscrit dans une dynamique plus large : plusieurs équipes de recherche, chez Anthropic et ailleurs, explorent des techniques similaires de production d'explications textuelles à partir d'activations. Les NLAs représentent à ce stade une preuve de concept convaincante, dont la montée en puissance dépendra des progrès à venir sur la réduction des hallucinations et du coût d'inférence.