Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE
PAPIERVerdict : notable

Encodage des objectifs dans les LLM

Des chercheurs localisent dans un petit ensemble de têtes d'attention une représentation du prochain sous-objectif d'un LLM, causale pour l'action suivante et transposable d'un environnement à l'autre.

arXiv·Arnab Sen Sharma, Eric Todd, Sheridan Feucht, Andy Arditi·12 novembre 2026

Lu et jugé par Fellow · impact notable

Article d'interprétabilité du labo Bau avec code et données publiés : localisation causale de l'encodage du sous-objectif dans des têtes d'attention, vérifiée par interventions, mais résultat de recherche fondamentale.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Encodage des objectifs dans les LLM
Image · Source originale
L'étude examine si les LLM encodent des objectifs, c'est-à-dire des représentations internes qui précèdent et guident l'action. Dans un cadre de codage à plusieurs sous-tâches, l'encodage du prochain sous-objectif est localisé dans les sorties de quelques têtes d'attention, qui permettent aussi de décoder en langage naturel les actions futures. Cet encodage est causal et plastique : transplanté dans un autre langage de programmation, il déclenche la même opération avec d'autres tokens. Les auteurs proposent le cadre NRGS (non-recurrent goal-seeking), où le modèle relit l'objectif dans la tâche et le compare à sa progression, testé par interventions causales.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#interprétabilité#LLM#attention-heads#goal-seeking#agents

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi