RECHERCHE
Un benchmark pour évaluer les LLM sur la revue de documents normatifs chinois GB/T
GB/T-Bench teste la capacité des LLM à détecter des erreurs structurelles et normatives dans des standards nationaux chinois, un exercice jusqu'ici réservé aux experts humains.
arXiv·Tao Wang, Qihao Yang, Rongjiao Liang, Lianghong Lin·6 août 2026
Image · Source originale
Les chercheurs présentent GB/T-Bench, premier benchmark pour la revue structurée de documents normatifs nationaux (standards GB/T chinois), avec une taxonomie de 25 types d'erreurs diagnosticables. Un mécanisme de génération de contre-exemples produit 7 306 instances d'erreurs à partir de 488 documents. Ils proposent aussi GB/T-Reviewer, un framework multi-agents combinant inspection globale et diagnostic ciblé.
Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Des agents LLM s'affrontent dans des combats Pokémon Showdown en 2v222 octobre 2026
- Le problème est-il vraiment plus difficile ? Test de LLMs sur des paires de problèmes P et NP-complets réécrits par agents adversariaux21 octobre 2026
- Bottling : les agents LLM peuvent-ils transformer leurs capacités en artefacts économiques et scalables ?6 octobre 2026
- La taxe d'interaction : quand la communication efface la diversité des agents24 août 2026
- Un benchmark évalue l'autonomie vérifiée des agents IA en ingénierie quantique15 septembre 2026
- Qwen 3.8 27B est excellent, mais sur-réfléchit massivement par défaut17 août 2026