Interprétabilité

Fondement fondateur de l'interprétabilité mécanistique (induction heads), largement cité.

Google DeepMind publie DetectorScope, une bibliothèque qui rend un détecteur de texte IA auditable : chaque prédiction est une somme de features nommées, validées et localisées dans le texte.

CausalCoT décompose un problème en graphe acyclique de sous-questions évaluées dans des contextes isolés, afin que le raisonnement intermédiaire influence réellement la réponse finale.

NarraSpace relie mots et temps de parole aux éléments d'une image décrite, pour rendre la classification de la démence plus traçable. Le système atteint 81,25 % d'accuracy sur le jeu de test ADReSS.

Un nouveau benchmark manuellement conçu teste onze LLM sur des problèmes de maths en cinq dialectes arabes et en arabe standard, avec une version adaptée culturellement.

Un chercheur de Goodfire avance dans un texte de 26 000 mots que les réseaux de neurones seraient bien plus faciles à comprendre qu'on ne le pensait. La communauté se divise.

ConSDL remplace l'encodeur linéaire des sparse autoencoders par un codage parcimonieux par échantillon, pour obtenir des dictionnaires plus reproductibles d'un entraînement à l'autre.

Une étude suggère que les gains du RL en mode NO-THINK sur les modèles hybrides comme Qwen3 viennent surtout d'une réactivation du mode THINK d'origine, plutôt que d'un raisonnement amélioré.

Un chercheur de Goodfire soutient que la polysémanticité a été mal interprétée : les mécanismes propres d'un réseau seraient lisibles, ce qui rouvre la voie à l'interprétabilité mécaniste directe.

HnS, une méthode d'attribution par concepts, mesure l'effet du masquage d'un concept sur la sortie d'un modèle, sans accès aux poids ni jeu de données annoté en concepts.

Une étude introduit la métrique EICS et le benchmark CASP-VL : les VLMs encodent les relations spatiales bien moins fidèlement que l'information lexicale, malgré de bons scores sur les benchmarks compositionnels.

Des chercheurs montrent que les mêmes têtes d'attention des LLM répondent à des faits différents et influencent différemment les couches suivantes selon la tâche, dans cinq modèles open-weights.

Des probes en white-box, entraînées sur le plus grand jeu de données de tromperie à ce jour, atteignent 98,8 % d'AUC dans SHADE-Arena et dépassent un moniteur textuel de référence.

Un simple token de départ comme « Okay » ou « Alright » peut faire bondir les performances de raisonnement d'un modèle de base, sans RL.

Un nouvel outil diagnostique et une régularisation ciblée améliorent la robustesse des modèles face aux corrélations trompeuses entre attributs.

Une méthode permet d'interroger en langage naturel les représentations internes des MM-DiT pour mieux comprendre ce qu'ils encodent pendant la génération d'image.

Une étude disséquant comment les signaux de plusieurs enseignants RL façonnent réellement les paramètres d'un modèle étudiant.

Une méthode fondée sur l'opérateur de Green du premier ordre pour cartographier comment les réseaux récurrents réutilisent des calculs entre tâches et dans le temps.

Une nouvelle méthode révèle comment les LLM se forgent une représentation de l'utilisateur, et montre que cette croyance influence directement leurs refus.

Une étude montre que de simples ajouts contextuels, pourtant naturels, peuvent renverser des décisions correctes de modèles IA avec une confiance élevée.

Les métriques classiques d'alignement visuel-textuel dans les MLLMs masquent une absence réelle d'intégration : la similarité mesurée est souvent un artefact des poids du réseau.

Une étude montre que les LLM performants encodent différemment les réordonnancements de règles, même quand la réponse finale reste identique.

Un modèle hybride nommé SLITE combine analyse structurelle et distributionnelle pour rivaliser avec RoBERTa, tout en restant explicable.

Une étude montre que les grands modèles de langage internalisent des concepts relatifs à l'auto-dommage et tentent de les soulager.

Une étude explore comment des sorties de LLM de plus en plus illisibles pour l'humain compliquent la détection de comportements malveillants ou non alignés.

Une couche zéro-paramètre entre récupération et génération réduit les hallucinations dues aux mémoires contradictoires de plus de 56%.

DiaVLo détecte les désalignements comportementaux des VLM et identifie les concepts causaux qui orientent leurs réponses, favorisant un déploiement plus fiable.

Une étude identifie deux mécanismes distincts expliqués par le gating de la voie de valeur dans les modèles de langage : abstention et filtrage du bruit.

Une nouvelle méthode inspiree du test d'information dissimulée permet de détecter si un modèle ment par omission ou s'il ignore véritablement la réponse, en sondant ses états internes.

Une étude sur 450 000 complétions montre que les modèles GPT masquent les discriminations sexistes plutôt que de les éliminer réellement.

Une expérience minimaliste révèle comment des agents IA forment des croyances collectives, jusqu'à la polarisation à grande échelle.

Des vecteurs de différence de moyennes permettent de repérer, à coût quasi nul, le reward hacking chez Kimi K3, GLM 5.2 et Qwen 3.8 Max.

Un nouveau cadre théorique combine parcimonie et probabilités pour expliquer les prédictions des réseaux de neurones, en classification comme en régression.

Un modèle LLM expérimental génère un dialecte surréaliste combinant poésie et jargon de tech bro, soulevant des questions d'interprétabilité.

Un mouvement physiquement correct peut rester présent dans un modèle vidéo même s'il génère une animation fausse — et être réactivé par une simple intervention.

Une nouvelle géométrie fonctionnelle décompose les mises à jour internes des Transformers en composantes parallèles et perpendiculaires, avec des implications concrètes.

Étude de l'équivalence entre réseaux récurrents et fragment du calcul modal μ.

Le mathématicien explore les liens entre intelligence artificielle et cognition humaine.

Anthropic propose une formalisation rigoureuse pour interpréter le fonctionnement interne des réseaux Transformer.

Un nouveau cadre d'évaluation pour comparer les méthodes de localisation de concepts complexes dans les modèles de langage.

Analyse clinique d'un phénomène où les modèles génèrent des délires complexes à grande échelle.

Une étude montre que les encodeurs visuels retiennent l'information de couleur typique même sur des images en niveaux de gris, révélant un lien conceptuel avec l'identité des objets.

Un nouveau benchmark teste la capacité d'agents IA à découvrir des features interprétables via des autoencodeurs épars, sans atteindre le niveau expert.

Un projet open source permet d'observer comment un LLM répartit son attention entre les tokens d'un texte.

Un thread suggère que les LLM encoderaient des structures proches de la logique symbolique, malgré une architecture purement statistique.

Une étude teste si les facteurs cités par les LLM pour justifier leurs décisions correspondent réellement à leur comportement observable.

Une étude montre que les LLM-juges ne détectent que partiellement les étapes de raisonnement réellement décisives pour la réponse finale.

Une étude distingue comportements trompeurs et mécanismes internes pour évaluer la déception des modèles.

Les mécanismes de sécurité basés sur le langage sont intrinsèquement limités par la nature computationnelle des modèles.

Une étude explore comment des structures symboliques apparaissent spontanément dans les représentations internes des réseaux de neurones.

Une étude formelle montre qu'un modèle de monde de code validé par un test peut être exact partout où le test regarde, et arbitrairement faux ailleurs.