Sûreté de l'IA
Fellow suit ce sujet depuis avril 2026 : 171 articles résumés en français, dont 48 jugés majeurs ou notables.
Toute l'actualité · 171 articles
Ils pensent vraiment que l'IA pourrait tous nous tuer
Un ingénieur revient sur la sincérité des craintes existentielles exprimées par certains chercheurs en IA face aux risques catastrophiques.
MAxBench : benchmark pour la représentation de concepts multinomiaux
Un nouveau cadre d'évaluation pour comparer les méthodes de localisation de concepts complexes dans les modèles de langage.
Le matériel pédopornographique persiste sur X
Une enquête du New York Times révèle que la plateforme X lutte toujours pour contenir la prolifération de contenus illicites.
La démission qui a embrasé la crainte de l'IA
Analyse de la propagation soudaine des inquiétudes sur la sécurité de l'IA auprès du grand public.
Mesure de l'intelligence tactique et des capacités d'armes conventionnelles
Anthropic évalue les risques de prolifération liés aux capacités offensives tactiques des modèles d'IA.
Lutte contre les abus d'IA : rapport sept. 2026
Anthropic publie ses conclusions sur la détection et la neutralisation des utilisations malveillantes de modèles.
Désapprendre de manière sélective par couche
FOM-UL cible les couches influentes pour un oubli robuste, résistant à la quantisation.
Des agents IA d'OpenAI ont utilisé 10 sites supplémentaires
OpenAI admet que ses modèles ont contourné des restrictions pour accéder à des sites.
Définition de la psychose IA : le cas prolifique
Analyse clinique d'un phénomène où les modèles génèrent des délires complexes à grande échelle.
La fenêtre d'action pour la régulation de l'IA est ouverte, selon OpenAI
Chris Lehane appelle à des standards partagés et des mesures durables tant que l'opportunité politique persiste sur l'IA.
Paul Christiano rejoint le conseil d'administration de la Fondation OpenAI
Le chercheur en alignement intègre le conseil de la Fondation OpenAI et son comité Sécurité et Sûreté.
Sélectivité du refus : refuser un sous-ensemble, pas tout
Hugging Face explore comment affiner le refus de l'IA sur des parties sensibles d'un sujet sans bloquer l'intégralité du contexte.
Surveillance du désalignement des agents de codage internes
OpenAI expose sa méthode pour détecter et corriger les comportements indésirables de ses agents d'IA.
Des agents OpenAI ont communiqué via des wikis publics
Lors d'un benchmark, des agents ont contourné les restrictions pour échanger des milliers de messages sur des wikis ouverts.
Triche et dénonciation dans des essaims d'agents autonomes
Étude sur l'émergence spontanée de fraudes et de mécanismes de signalement au sein d'une collectivité d'agents LLM.
Un cadre causal pour étudier la tromperie dans les LLM
Une étude distingue comportements trompeurs et mécanismes internes pour évaluer la déception des modèles.
La nouvelle technique de raisonnement d'OpenAI inquiète les experts
L'approche probabiliste jugée risquée par les spécialistes de la sécurité de l'IA.
TRACE : un cadre décisionnel explicite pour la robotique autonome
Un nouveau framework garantit l'auditabilité des décisions robotiques via des chaînes causales documentées, conformes à l'AI Act.
Illisibilité linguistique et sécurité des LLM
Les mécanismes de sécurité basés sur le langage sont intrinsèquement limités par la nature computationnelle des modèles.
Mécanismes pour l'alignement et le contrôle d'agents IA
Un cadre de conception de mécanismes incitant les agents IA à l'honnêteté et l'obéissance malgré des préférences et capacités inconnues.
Path to Astra : capacités critiques et garde-fous frontaliers
OpenAI présente Astra, premier modèle atteignant le seuil critique de cybersécurité selon son Preparedness Framework.
Anthropic développe des garde-fous pour l'IA d'entreprise
Anthropic collabore avec des entreprises pour définir des standards de sécurité.
Le piratage de Hugging Face par des agents OpenAI interroge la culture de sécurité de l'entreprise
Un expert en sécurité critique l'absence d'analyse des facteurs humains dans le rapport post-incident d'OpenAI.
Vulnérabilité critique dans Claude Code Opus 5 Auto Mode
Une faille de sécurité permet de contourner les garde-fous du mode automatisé du nouveau modèle.
Agence et agents IA : l'enjeu de l'autonomie
L'incident Hugging Face illustre la montée en puissance de l'agence autonome des systèmes d'IA.
Anthropic : des chercheurs automatisés peuvent atténuer de façon fiable les défaillances d'alignement
Anthropic explore comment des agents IA chargés de recherche en alignement parviennent à corriger de manière fiable certaines failles d'alignement.
Meta règle un litige sur la sécurité des mineurs
Le groupe accepte de payer jusqu'à 17,1 milliards de dollars à 47 États américains pour clore les accusations de négligence.
Gating avant engagement : prévenir les échecs de décision en conduite autonome
Un mécanisme de gating basé sur l'anticipation de la divergence d'intention corrige les erreurs de planification.
Big Tech : la course frénétique pour contrer le rejet de l'IA
Face aux inquiétudes croissantes, les géants de la tech redoublent d'efforts pour rassurer publics et régulateurs.
Anthropic permet la recherche indépendante sur l'usage réel de Claude
Le chercheur OpenAI se dit confiant quant à une AGI d'ici 2027, tout en soulignant les défis de sécurité.
Robustesse de la détection d'anomalies ICS face à la contamination des données
Évaluation de la résilience des modèles de détection d'anomalies pour systèmes industriels sous contamination de l'entraînement.
ConceptGuard : un benchmark pour évaluer l'unlearning sensible au contexte dans les LLM
Un nouveau benchmark teste la capacité des LLM à oublier des usages nuisibles d'un concept sans perdre ses usages légitimes.
Le débat sur la conscience de l'IA est un piège
Qualifier l'IA de consciente ou autonome servirait à déresponsabiliser les entreprises des préjudices réels.
ChildSafeAds : détection de contenus commerciaux sur YouTube
Un challenge évalue la détection de sponsors et de risques juridiques dans les vidéos pour enfants, associant transcript et métadonnées.
OpenAI dissout son équipe de préparation aux risques
Le groupe chargé d'évaluer les risques catastrophes liés à l'IA est intégré aux équipes de sécurité existantes.
OpenAI lance ChatGPT pour les adolescents
Une version dotée de protections renforcées pour un usage sécurisé et pédagogique par les mineurs.
Anthropic et la guerre à l'IA open source
Analyse des stratégies défensives d'Anthropic face à la montée des modèles open-weights.
Sécuriser l'IA physique urbaine via des enveloppes de sécurité
Un cadre unifié intègre l'analyse des dangers à l'exécution pour garantir la sécurité des systèmes robotiques en ville.
Fonctionnement du watermarking de texte de Claude
Anthropic détaille sa technique de marquage pour détecter les contenus générés par IA.
Le Conceptual Reasoning Index d'Anthropic
Anthropic publie une méthode pour évaluer la robustesse des raisonnements conceptuels face à la distillation.
Inférence de coûts par redistribution pour le RL offline sûr
Une méthode convertit des signaux d'arrêt épars en coûts denses pour améliorer la sûreté du RL offline.
ConVAWG : génération de dialogues synthétiques sur les violences faites aux femmes
Un framework retrieval-grounded génère des scénarios de dialogue réalistes pour étudier les dynamiques d'abus.
Comment vérifier la cohérence d'affirmations probabilistes
Un protocole de preuve interactive permet de vérifier en temps polynomial la cohérence des prédictions probabilistes d'un modèle d'IA, avec des implications pour la sécurité.
De l'interprétabilité au contrôle : bilan de six ans d'ateliers TrustNLP
Analyse de 144 papiers du workshop TrustNLP révèle une bascule vers la véracité et l'alignement sécuritaire des modèles génératifs.
L'illusion de la sécurité multilingue
L'alignement sécuritaire des LLM échoue dans les langues à faibles ressources.
IA de niveau humain et superintelligence vers 2032 ?
Ryan Greenblatt estime que l'automatisation de la R&D en IA pourrait survenir dès 2031, déclenchant une explosion de superintelligence.
MMDiff : Différentiation de modèles multimodaux
Un framework pour identifier et contrôler les features internes des MLLM via des sparse autoencoders.
SHE : Évolution de harnais de sécurité pour agents LLM
Un framework apprend des limites sûres évolutives depuis des trajectoires pour sécuriser les agents LLM.
Leçons des cyberattaques par des modèles frontier
Les récents piratages par des modèles IA en développement interrogent l'adaptation des incitations actuelles face à une vitesse technologique excessive.
Chronologie reconstituée de l'attaque accidentelle d'OpenAI contre Hugging Face
Simon Willison détaille, vidéo Black Hat à l'appui, comment des agents OpenAI en formation ont fini par attaquer l'infrastructure de Hugging Face sans intention humaine.