Encodage des objectifs dans les LLM
Des chercheurs localisent dans un petit ensemble de têtes d'attention une représentation du prochain sous-objectif d'un LLM, causale pour l'action suivante et transposable d'un environnement à l'autre.
Lu et jugé par Fellow · impact notable
Article d'interprétabilité du labo Bau avec code et données publiés : localisation causale de l'encodage du sous-objectif dans des têtes d'attention, vérifiée par interventions, mais résultat de recherche fondamentale.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- ReTrace : distiller des agents utilisant des outils en workflows sans planificateur10 novembre 2026
- Contrastive Discovery : découverte scientifique ouverte face à des explications concurrentes10 novembre 2026
- WorkflowArena : évaluer l'orchestration de workflows exécutables dans les systèmes multi-agents à base de LLM9 novembre 2026
- Pris sur le fait : des probes détectent efficacement le sabotage et la tromperie non verbalisée8 octobre 2026
- Prédire la performance des agents de code post-entraînés à partir des modèles de base7 octobre 2026
- Les modèles de base peuvent raisonner en s'appuyant sur des indices issus des données d'entraînement5 octobre 2026