Aller au contenu
Édition du soir · N° 574 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : notable

SAEScientist-Bench : des agents IA peuvent-ils mener une recherche autonome en interprétabilité SAE ?

Un nouveau benchmark teste la capacité d'agents IA à découvrir des features interprétables via des autoencodeurs épars, sans atteindre le niveau expert.

arXiv·Yuqiao Tan, Shizhu He, Jun Zhao, Kang Liu·8 septembre 2026

Lu et jugé par Fellow · impact notable

Un benchmark standardisé avec code et protocole pour mesurer l'autonomie des agents en recherche scientifique.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

SAEScientist-Bench : des agents IA peuvent-ils mener une recherche autonome en interprétabilité SAE ?
Image · Source originale
SAEScientist-Bench évalue des agents IA agissant comme chercheurs en interprétabilité mécaniste, chargés de naviguer dans un dictionnaire de 131 000 features de Gemma Scope sur Gemma-2-9B-IT. Sur 20 tâches et 10 configurations d'agents, les modèles de pointe montrent de réelles capacités de découverte mais restent nettement en retrait par rapport aux experts, notamment sur le pilotage causal des features.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#interprétabilité#sparse-autoencoders#agents-ia#benchmark#alignement

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi