Aller au contenu
Édition du matin · N° 663 · prochaine à 13 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


SAFETY
PAPIERVerdict : léger

L'interprétabilité mécaniste peut-elle expliquer les échecs des agents LLM ? Étude de cas sur l'hallucination d'éléments web

Une étude sur Qwen2.5-7B-Instruct montre qu'une sonde linéaire prédit les hallucinations d'actions web avant la génération, mais que l'explication causale reste partielle.

arXiv·Mohamed Aghzal, Mor Geva, Gregory J. Stein, Ziyu Yao·13 novembre 2026

Lu et jugé par Fellow · impact léger

Étude de cas sur un seul modèle de 7B : sonde linéaire à 0,80 AUC et steering corrigeant 85 % des hallucinations, mais explication partielle et sensible au format du prompt, sans portée générale établie.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
L'interprétabilité mécaniste peut-elle expliquer les échecs des agents LLM ? Étude de cas sur l'hallucination d'éléments web
Image · Source originale
Les auteurs appliquent des analyses d'interprétabilité mécaniste à Qwen2.5-7B-Instruct, qui interagit avec des sites web réels, pour étudier les actions inexistantes hallucinées par les agents. Une sonde linéaire sur le dernier token du prompt prédit les hallucinations avant la génération (0,80 AUC), et le steering corrige 85 % d'entre elles mais perturbe 7 % des actions valides. La direction de la sonde dépend du format du prompt, et le calcul est distribué entre plusieurs composants et positions, ce qui complique l'identification de circuits. L'article discute les limites des méthodes MI standards et propose des pistes.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#interprétabilité-mécaniste#agents#hallucinations#web-agents#probing

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi