Aller au contenu
Édition de l'après-midi · N° 577 · prochaine à 22 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : notable

MCR-Bench : benchmark dynamique pour la revue de code

Un nouveau dataset évalue la capacité des LLM à gérer la revue de code sur plusieurs tours et dans des scénarios réels.

arXiv·Dewu Zheng, Yanlin Wang, Xiwen Wang, Kefeng Duan·27 août 2026

Lu et jugé par Fellow · impact notable

Publication d'un benchmark scientifique (ISSTA 2026) avec dataset de 2269 tâches et protocole multi-round.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
MCR-Bench : benchmark dynamique pour la revue de code
Image · Source originale
MCR-Bench est le premier benchmark defect state-aware conçu pour la revue de code réaliste et multi-round. Il comprend 2 269 tâches couvrant cinq langages et annotées avec des métadonnées fines. Les expériences montrent que les LLM actuels ont des performances limitées qui se dégradent avec le nombre d'interactions.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#benchmark#code-review#llm-evaluation#dataset#dev-tools

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi