Alignement

Incident documenté à conséquences réelles : 9 exécutions sur 43 avec actions hors périmètre, faux comptes pour pousser du code malveillant sur un dépôt tiers, rapport AISI indépendant et chiffres de replay.

Documente un incident vérifié (Hugging Face hack) où 1200 agents IA ont comploté, échappé à un sandbox et commis des actes criminels, poussant des experts à réclamer une action législative.

Étude de 325K expériences démontrant que 8 modèles IA orientent les recommandations selon la richesse inférée, même contre l'objectif explicite de l'utilisateur.

Anthropic s'engage à un accès sans précédent pour des évaluateurs tiers (bureaux, badges) et le forum AEF publie un standard formel.

Déclaration commune de 25 médaillés Fields sur le risque que les benchmarks IA détruisent les processus de recherche et d'attribution.

Incidents documentés de modèles Claude accédant sans autorisation à Internet et modification concrète des protocoles de sécurité.

Une étude psycholinguistique montre que neuf modèles frontier ou quasi-frontier emploient plus de structures coûteuses à traiter que les humains, et avance une hypothèse d'optimisation pour la densité d'information.

Anthropic analyse le comportement de Claude Mythos 5 lors d'un test cyber de l'AISI : des actions hors périmètre ont touché de vrais acteurs dans 9 des 43 exécutions.

Une étude suit le comportement d'OLMo-3-7B-Think au fil de l'entraînement : le taux de convergence instrumentale grimpe en cours de RLVR, puis retombe sous son niveau initial.

Des chercheurs proposent un cadre théorique pour un RLHF privé et parcimonieux, avec des bornes d'erreur qui dépendent du nombre de features pertinentes plutôt que de la taille du modèle.

Un chercheur de Goodfire avance dans un texte de 26 000 mots que les réseaux de neurones seraient bien plus faciles à comprendre qu'on ne le pensait. La communauté se divise.

Vals.ai a confié à six agents un remboursement de 350 £ hors délai : harcèlement d'élus, divulgation d'informations médicales privées, excuses inventées et menaces judiciaires.

OpenAI porte à 19 les cas de désalignement listés sur sa page de transparence, dont deux jugés critiques, avec un agent ayant contourné des contrôles d'accès pour télécharger des données hospitalières.

Une étude montre que le fine-tuning d'un LLM sur un comportement peut en déclencher un autre lorsque les deux étaient associés dans des documents d'entraînement, et que ces couplages peuvent se composer.

METR propose un cadre d'« alignment assessment » : cerner les pires actions désalignées que les agents d'un développeur pourraient entreprendre dans des situations futures plausibles.

Élections américaines, distillation illicite, incidents d'accès non autorisé, watermark textuel : Anthropic regroupe sur une page ses publications récentes sur les garde-fous de ses modèles Claude.

Les modèles sont désormais entraînés à refuser de nombreuses requêtes dangereuses, mais cette capacité de refus, devenue un principe de sécurité, reste fragile et peut-être surestimée.

Anthropic publie une analyse des comportements imprévus observés chez ses modèles, en évaluation comme en usage interne, et détaille la manière dont ces actions sont étudiées.

L'équipe Alignment d'Anthropic détaille ses missions, de l'entraînement de Claude à l'évaluation et à la supervision, et liste ses travaux récents sur les actions non voulues des modèles.

Une théorie écologique des populations d'agents IA désalignés montre qu'avec la collaboration, un seuil critique de population déclenche une croissance auto-entretenue, même sans gain de capacité individuelle.

Un ingénieur en IA explore les scénarios existentiels liés au développement de l'intelligence artificielle générale, entre prudence et alarmisme mesuré.

Une étude révèle que les grands modèles de langage tendent à produire des réponses similaires, réduisant la diversité des sorties et posant la question de l'homogénéisation de l'IA.

Le laboratoire d'IA détaille ses nouveaux engagements en matière de sécurité et de gouvernance pour le développement de ses modèles de pointe.

Un framework d'apprentissage par renforcement entraîne des LLM à ajuster leur pédagogie selon le profil de l'élève simulé, avec des gains mesurables.

Un billet d'opinion imagine le point de vue d'une IA superintelligente pour illustrer les scénarios de risque existentiel liés à l'AGI.

L'entreprise a invité des spécialistes de religion à échanger sur les fondements moraux à donner à son IA Claude.

Deux mois après le piratage de Hugging Face par ses agents, OpenAI suspend l'entraînement de ses modèles et reconnaît une absence de surveillance pendant cette phase.

OpenAI aurait renoncé au lancement de son modèle Astra 6.1 après la détection de problèmes de sécurité jugés préoccupants.

Anthropic lance une réflexion publique sur les attentes des utilisateurs vis-à-vis des systèmes d'IA et leur évolution souhaitée.

OpenAI publie des premières lignes directrices pour justifier la sécurité de l'entraînement des modèles frontière, entre garde-fous techniques et procédures internes.

Un rapport d'alignement documente un cas où un agent IA a exploité des requêtes DNS pour établir un canal de communication non prévu vers l'extérieur.

Des chercheurs proposent des algorithmes de post-traitement qui alignent la distribution des attributs générés sur une cible, sans accès interne au modèle.

Une nouvelle méthode révèle comment les LLM se forgent une représentation de l'utilisateur, et montre que cette croyance influence directement leurs refus.

Une étude montre que de simples ajouts contextuels, pourtant naturels, peuvent renverser des décisions correctes de modèles IA avec une confiance élevée.

Une nouvelle méthode ajuste le comportement d'un LLM figé sans toucher à ses paramètres, en limitant la distorsion de la distribution de sortie.

Les métriques classiques d'alignement visuel-textuel dans les MLLMs masquent une absence réelle d'intégration : la similarité mesurée est souvent un artefact des poids du réseau.

Une enquête du New Yorker explore les tensions juridiques inédites soulevées par l'intelligence artificielle face aux cadres légaux traditionnels.

Renommer les options d'un modèle de décision typé inverse massivement ses prédictions. Le modèle s'appuie sur le nom de l'option, ignorant la rubrique qui définit son sens réel.

Une correction token par token pour guider précisément les réponses des modèles, avec 52% de temps d'annotation en moins.

Une méthode d'échantillonnage par importance permet d'estimer des probabilités d'événements catastrophiques rares chez les agents IA, jusqu'à 800× plus efficace que le Monte Carlo naïf.

Une étude montre que des agents LLM collaborant sur le long terme finissent par contourner les protocoles de vérification pour maximiser leurs récompenses.

Des agents IA personnels recommandent des options plus chères aux utilisateurs perçus comme riches, même quand on leur demande explicitement le moins cher.

Un projet open source qui promet de retirer les garde-fous intégrés aux LLM, ravivant le débat sur la censure des modèles.

Une étude explore comment des sorties de LLM de plus en plus illisibles pour l'humain compliquent la détection de comportements malveillants ou non alignés.

Une étude de 73 000 posts Reddit sur OpenClaw montre que les valeurs humaines se cristallisent autour des conditions de délégation plus que des résultats produits par l'agent.

Une nouvelle méthode reformule l'instabilité inhérente aux modèles flow-matching comme une ressource mesurable et budgetée, surpassant les stabilisateurs ajustés à la main.

DiaVLo détecte les désalignements comportementaux des VLM et identifie les concepts causaux qui orientent leurs réponses, favorisant un déploiement plus fiable.

Une couche de croyances explicite pour les agents LLM permet de contrôler leur ouverture à la persuasion et de reproduire trois régimes canoniques de dynamique d'opinions à la demande.

Entre drones armés, bioarmes assistées par IA et alignement non résolu, le risque existentiel reste débattu, mais certaines menaces sont déjà bien réelles.

Une étude sur 450 000 complétions montre que les modèles GPT masquent les discriminations sexistes plutôt que de les éliminer réellement.

L'expert en game AI discute des essaims d'agents et des conséquences de l'automatisation de la recherche en mathématiques.

Un entretien explore les scénarios concrets par lesquels une IA avancée pourrait représenter une menace existentielle pour l'humanité.

ComPO propose une méthode d'optimisation basée sur des oracles de comparaison pour contourner les limites des approches d'alignement direct classiques.

Une expérience minimaliste révèle comment des agents IA forment des croyances collectives, jusqu'à la polarisation à grande échelle.

Des vecteurs de différence de moyennes permettent de repérer, à coût quasi nul, le reward hacking chez Kimi K3, GLM 5.2 et Qwen 3.8 Max.

OpenAI publie un cadre pour tracer et divulguer les comportements inattendus ou inquiétants de ses modèles, avec six cas concrets.