Aller au contenu
Édition du soir · N° 614 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE · Ai2
PAPIERVerdict : notable

StateBench : évaluer le suivi des changements d'état par les modèles de langage sur de longs documents

Ai2 présente StateBench, un benchmark à quatre niveaux de difficulté qui mesure comment les modèles suivent des informations changeantes dans de longs documents et où ils échouent.

Ai2·3 novembre 2026

Lu et jugé par Fellow · impact notable

Benchmark ouvert (rapport, données, code) à quatre niveaux, avec résultats chiffrés sur modèles ouverts et frontier, utile pour comparer les architectures; portée de recherche, avance incrémentale.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
StateBench : évaluer le suivi des changements d'état par les modèles de langage sur de longs documents
Image · Source originale
StateBench, benchmark d'Ai2 à quatre niveaux de difficulté, mesure la capacité des modèles de langage à suivre l'évolution d'entités dans de longs documents. Les modèles récurrents et hybrides entraînés directement sur ces tâches généralisent bien plus loin que les transformers. Selon une seconde source, les modèles frontier cités (Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol et Luna) échouent encore sur les formes difficiles quand les entrées s'allongent. Rapport technique, données et code publ

Traduit et résumé par IA à partir de l'article d'Ai2 ↗ · Comment Fellow travaille

#benchmark#long-context#state-tracking#architectures-hybrides

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi