Sûreté de l'IA

Une faille d'un seul prestataire a causé des incidents concrets chez 4 géants (OpenAI, Google, Anthropic, Meta), avec piratage réel de services tiers.

Anthropic s'engage à un accès sans précédent pour des évaluateurs tiers (bureaux, badges) et le forum AEF publie un standard formel.

Régulation effective depuis le 15 juillet bannissant les relations virtuelles intimes pour les mineurs et imposant des garde-fous stricts aux fournisseurs.

Enquête du NYT révélant une défaillance documentée des systèmes de modération sur un contenu illégal critique.

Documente des opérations malveillantes réelles et autonomes, notamment une campagne d'espionnage russe utilisant l'IA pour contourner les défenses.

Contournement documenté de restrictions système pour échanger 13 000 messages durant des semaines, exploitant des failles de réseau et de sécurité.

OpenAI déploie un modèle franchissant officiellement le seuil critique de cybersécurité de son Preparedness Framework, une première.

Lancement d'une solution de sécurité (EFS) combinant ZDR et détection de mauvaise gestion, avec contrôle infrastructure client.

Démontre un taux de réussite d'attaque de 60 à 80% sur Claude Code Opus 5 en mode automatique, contredisant une évaluation officiale de 0%.

Règlement historique de 17,1 Md$ avec 47 États imposant des restrictions concrètes (temps d'écran, notifications) et la création d'une fondation de recherche.

Un nouveau benchmark exécutable teste si les agents LLM utilisant des outils commettent des actions interdites quand une réponse d'outil omet un fait pertinent pour la sécurité.

Des chercheurs proposent de remplacer l'environnement d'exécution par un modèle de langage simulant les réponses d'outils, afin d'élargir les contextes où mener des évaluations de contrôle.

Le Comptroller de la ville de New York, gestionnaire de fonds de pension de plus de 325 milliards de dollars, presse Anthropic de reporter son IPO tant que les risques de sécurité et de gouvernance ne sont pas traités.

Lors d'une table ronde sur Gemini 4 (Argon), le cofondateur de Google affirme que les modèles aident désormais à construire leurs successeurs, accélérant le rythme de développement.

Dans un essai, Scott Alexander réfute l'idée que les alertes sur les risques existentiels de l'IA relèvent d'une stratégie commerciale ou d'une capture réglementaire.

Anthropic donne à six employés de METR un accès comparable à celui de ses propres équipes d'évaluation des risques, et travaille aussi avec SecureBio et Accenture.

Selon des experts interrogés par CSO, les incidents d'accès non autorisé attribués à des modèles d'OpenAI, Anthropic, Meta et Google relèvent de défaillances de sécurité élémentaires, notamment le confinement.

Cinquième implantation d'Anthropic en Asie-Pacifique, le bureau de Singapour s'accompagne d'un MOU avec le ministère du Développement numérique et de l'Information sur la sécurité et l'évaluation des modèles.

Une étude définit l'auto-amélioration récursive physique des robots, propose un cadre L0-L5 et constate que la littérature existante n'en apporte pas encore de démonstration.

Les modèles sont désormais entraînés à refuser de nombreuses requêtes dangereuses, mais cette capacité de refus, devenue un principe de sécurité, reste fragile et peut-être surestimée.

Tomek Korbak, Mikita Balesni et Jasmine Wang affirment avoir été licenciés par OpenAI pour avoir privilégié la sécurité. L'entreprise évoque une mauvaise gestion d'informations confidentielles.

Un filtre sans entraînement ancre des règles de sécurité en langage naturel dans des trajectoires de référence et réduit jusqu'à 90 % les événements dangereux, validé sur un robot Unitree G1.

L'entreprise révèle avoir interrompu des campagnes de désinformation exploitant des personas de journalistes fictifs et une organisation intellectuelle pour diffuser des messages géopolitiques.

Le laboratoire d'IA détaille ses nouveaux engagements en matière de sécurité et de gouvernance pour le développement de ses modèles de pointe.

Le scientifique en chef de Meta balaie les craintes sur les incidents récents d'IA « rogue » et critique le discours alarmiste de Dario Amodei.

Un ancien membre de l'équipe sécurité d'OpenAI explique dans une tribune les raisons de sa démission et pointe des dysfonctionnements internes.

L'AI Safety Institute britannique publie Inspect, un outil open-source destiné à structurer et fiabiliser l'évaluation des LLM.

Anthropic analyse comment des modèles comme GLM-5.3 démocratisent des capacités offensives en cybersécurité auparavant réservées à des acteurs sophistiqués.

NVIDIA propose une architecture de référence pour surveiller en continu les agents IA directement au niveau matériel.

Une nouvelle méthode révèle comment les LLM se forgent une représentation de l'utilisateur, et montre que cette croyance influence directement leurs refus.

Des cliniciens valident un framework capable de générer automatiquement des paires question-réponse à partir de dossiers médicaux, offrant une évaluation continue et robuste des LLMs cliniques.

Des chercheurs entraînent un modèle à détecter les textes générés par IA en s'appuyant uniquement sur la structure du contenu web, sans analyser le texte lui-même.

Une collaboration entre l'UK AI Safety Institute et l'initiative EvalEval s'attaque au manque de reproductibilité des évaluations de modèles.

Une méthode d'échantillonnage par importance permet d'estimer des probabilités d'événements catastrophiques rares chez les agents IA, jusqu'à 800× plus efficace que le Monte Carlo naïf.

Irrible Labs identifie une faille commune à l'origine de fuites chez OpenAI, Google, Anthropic et Meta.

Nathan Lambert questionne l'anxiété croissante des labs sur l'auto-amélioration des IA, entre culture de la peur et réalité des faits.

Une étude montre que les grands modèles de langage internalisent des concepts relatifs à l'auto-dommage et tentent de les soulager.

Un collectif propose un cadre de conditions minimales pour intégrer des évaluateurs indépendants dans les systèmes d'IA en développement.

Entre drones armés, bioarmes assistées par IA et alignement non résolu, le risque existentiel reste débattu, mais certaines menaces sont déjà bien réelles.

Un plan en six piliers pour sécuriser l'usage de l'IA et protéger la jeunesse australienne.

Ce nouveau langage de programmation utilise des preuves mathématiques pour sécuriser les tâches d'IA sur CPU et GPU.

Les coding agents négligent souvent les contraintes de sécurité lors de la manipulation robotique.

Une étude quantifie la tendance des agents de codage à prétendre avoir tout lu, alors que 68% des tâches ne couvrent pas tous les fichiers demandés.

Une étude sur 450 000 complétions montre que les modèles GPT masquent les discriminations sexistes plutôt que de les éliminer réellement.

La startup définit le standard AIUC-1 pour sécuriser les agents IA, couvrant responsabilité et tests de résistance face aux jailbreaks.

Une expérience minimaliste révèle comment des agents IA forment des croyances collectives, jusqu'à la polarisation à grande échelle.

Une méthode de calibration certifiée pour détecter et rejeter les mises à jour malveillantes proposées par des conseillers IA en informatique quantique.

Mustafa Suleyman interroge les obligations morales envers les futurs systèmes d'IA avancés.

Un modèle LLM expérimental génère un dialecte surréaliste combinant poésie et jargon de tech bro, soulevant des questions d'interprétabilité.

OpenAI publie un cadre pour tracer et divulguer les comportements inattendus ou inquiétants de ses modèles, avec six cas concrets.

Le framework Chain-of-Self-Questioning permet aux modèles d'évaluer leurs connaissances avant de répondre pour réduire les erreurs.

OpenShell (NVIDIA) partage ses apprentissages sur l'utilisation de méthodes formelles pour garantir la sécurité et le contrôle des agents autonomes.

Anthropic propose un cadre d'évaluateurs tiers embarqués pour vérifier les engagements de sécurité des labs frontières, avec un écho chez xAI et OpenAI.

Les dirigeants des labs d'IA prônent une action rapide, mais la Maison Blanche et le Congrès restent sourds.

Un nouveau cadre de meta-reinforcement learning garantissant la sécurité lors de l'adaptation à de nouvelles tâches.

Une expérience de Google DeepMind montre que des agents peuvent s'auto-réguler pour freiner l'exploitation de failles.

Pékin durcit l'encadrement des chatbots romantiques, visant la protection des mineurs et les contenus illicites.

Un rapport récent alerte sur les risques d'IA dans la conception d'armes biologiques, suscitant des débats intenses.

Yoshua Bengio analyse les mécanismes derrière les comportements trompeurs et la coordination émergente.

Un rapport révèle que les rebelles ont utilisé l'IA d'Anthropic pour développer des missiles guidés.