Anthropic jugé non fiable sans réforme de sa gouvernance

Une analyse publiée sur la plateforme LessWrong remet en cause la fiabilité structurelle d'Anthropic, arguant que les mécanismes actuels de gouvernance de l'entreprise sont insuffisants pour garantir une gestion sûre de l'intelligence artificielle. L'auteur, Mikhail Samin, compile une série d'actions et de déclarations pour suggérer que la direction d'Anthropic ne peut être implicitement trusted (digne de confiance) dans la poursuite de ses objectifs affichés de sécurité, notamment l'alignment. Le cœur de la critique ne réside pas tant dans les capacités techniques des modèles produits que dans la divergence entre la communication publique de l'entreprise, souvent axée sur la sécurité, et les décisions stratégiques prises par sa direction.

L'article met en lumière plusieurs exemples de ce que l'auteur perçoit comme des incohérences ou des manœuvres opportunistes. Il pointe du doigt la participation d'Anthropic à des pressions politiques, notamment en Californie, où l'entreprise aurait œuvré contre le projet de loi SB 1047, une réglementation visant à encadrer les risques liés aux modèles avancés. Ce positionnement est contrasté avec l'image de "laboratoire de sécurité" que l'entité cherche à projeter. L'analyse souligne que les incitations économiques, telles que la pression des investisseurs et la nécessité de rester compétitif face à des acteurs comme OpenAI ou Google, pèsent lourdement sur les décisions, reléguant parfois les impératifs de sécurité au second plan.

La discussion engendre également un débat méta sur la notion de confiance envers une entité corporate. Plusieurs commentateurs, tels que Buck Shlegeris et Richard Ngo, notent qu'il est conceptuellement erroné d'appliquer une confiance morale à une entreprise, qui est une collection d'acteurs aux intérêts divergents. Si les employés et chercheurs peuvent être personnellement investis dans la réduction des risques x-risk, la direction et le conseil d'administration répondent à d'autres contraintes. Richard Ngo estime d'ailleurs que le personnel d'Anthropic accorde peut-être une confiance excessive à sa hiérarchie, prenant les déclarations de leadership pour argent comptant alors que la réalité stratégique est plus nuancée.

Une des questions ouvertes soulevées par cette critique concerne l'évaluation comparative. Si Anthropic est jugée peu fiable, il reste à déterminer par rapport à quel standard. L'auteur ne fournit pas nécessairement de benchmark clair comparant Anthropic à d'autres laboratoires, ce qui fragilise selon certains critiques la portée de l'accusation. L'absence de changements structurels profonds, comme une modification de la composition du conseil d'administration ou l'adoption de statuts juridiques contraignants, est présentée comme un facteur de risque majeur. Sans ces réformes, l'entreprise demeure, selon l'analyse, une entité commerciale classique dont les promesses de sécurité ne sont pas garanties par des mécanismes de gouvernance robustes.

Les implications pour la communauté de l'AI safety sont significatives. Recommander le travail au sein d'Anthropic ou collaborer avec l'entreprise sur la base de sa réputation de sécurité devient risqué si la gouvernance ne verrouille pas ces engagements. L'article suggère que la présomption de bonne foi, souvent accordée par défaut dans les cercles rationalistes et efficaces (EA), est particulièrement exploitable dans ce contexte et devrait être remplacée par une vigilance accrue et une exigence de preuves tangibles via des structures de contrôle indépendantes.