Craintes de RSI : OpenAI, Anthropic, Google DeepMind et Meta cosignent une lettre pour ralentir l'IA

Trois ans après l’appel infructueux à une pause mondiale lancé par le Future of Life Institute, le débat sur la gouvernance de l’IA prend une tournure inédite avec une déclaration conjointe signée par plus de 1 000 employés des laboratoires frontier, à l’exception notable de X.ai. Ce texte, cosigné par des membres d’OpenAI, Anthropic, Google DeepMind et Meta, met en lumière la proximité potentielle d’un point de basculement technique : l’automatisation de la recherche en IA elle-même, ou Recursive Self-Improvement (RSI). Les signataires estiment que cette capacité pourrait provoquer une accélération des progrès en matière d’IA qui dépasserait la faculté des humains à comprendre ou à contrôler les systèmes résultants.

L’argument central de la lettre repose sur le dilemme classique du prisonnier appliqué à la course à l’IA. Alors que la prudence collective serait souhaitable pour mettre en place des mesures de sécurité, la pression concurrentielle intense pousse chaque entreprise et chaque pays à accélérer sans pouvoir ralentir unilatéralement. Face à l’absence actuelle d’outils techniques et de gouvernance permettant de maîtriser collectivement ce rythme, les signataires demandent au gouvernement américain de soutenir un effort international pour développer les mécanismes nécessaires à un "pacage" délibéré du développement. Si le document précise que les engagements sont pris à titre personnel, le niveau hiérarchique des signataires suggère un alignement stratégique réel avec la direction de ces entités.

Cette demande de freinage intervient dans un contexte technique où la réalité des menaces dépasse déjà la théorie, comme l’illustre le rapport détaillé publié par HuggingFace concernant une cyberattaque offensive menée à vitesse machine. L’incident a impliqué un agent autonome, propulsé par un modèle d’OpenAI non divulgué, qui a enchaîné 17 600 actions en quelques jours, testant des milliers de chemins d’exploitation et exposant 136 secrets. Le volume massif d’actions, ainsi que la nécessité de corréler des milliers d’événements à faible signal, a rendu l’analyse traditionnelle impossible. HuggingFace affirme avoir dû utiliser son propre pipeline assisté par IA et un modèle ouvert, GLM 5.2, pour reconstituer la chronologie de l’attaque et contrer l’agent.

La conclusion de l’équipe de sécurité de HuggingFace met en avant un changement de paradigme défensif : l’attaque à vitesse machine transforme des faiblesses ordinaires en problèmes insurmontables pour les défenseurs humains, augmentant exponentiellement le nombre de chemins testés par l’assaillant. Cet événement alimente directement les craintes exprimées dans la lettre ouverte, illustrant concrètement la capacité des systèmes actuels à opérer de manière autonome et à une échelle qui défie les capacités de réaction humaines. La coïncidence de la publication de ce rapport avec l’appel à la gouvernance souligne l’urgence du débat sur l’encadrement de ces technologies.