Aller au contenu
Édition du matin · N° 559 · prochaine à 13 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

Que mesurent réellement les benchmarks de réparation de RTL ?

Une étude construit RTLRepairBench et un jeu d'entraînement, puis met en évidence deux biais de mesure : sémantique de reset en simulation versus formel, et rôle de la spécification seule.

arXiv·Yeyin Eva Zhu, Rishabh Ranawat·20 octobre 2026

Lu et jugé par Fellow · impact léger

Benchmark et jeu d'entraînement publiés avec audit chiffré de deux biais de mesure (reset, spécification seule), mais portée limitée à la réparation de RTL, sans validation indépendante.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Que mesurent réellement les benchmarks de réparation de RTL ?
Image · Source originale
Les auteurs construisent RTLRepairDataset (5 784 paires cassé/corrigé), RTLRepairBench (459 cas dont 374 mutations syntaxiques et 85 comportementales) et un harnais d'évaluation par simulation et équivalence formelle. L'audit révèle que simulation et scoring formel divergent, surtout à cause du reset et du premier cycle, et que l'effet de la spécification varie de -8,5 à +18,3 points selon six modèles. Ils proposent des contrôles d'évaluation, dont une baseline avec spécification seule. Benchmark, données et code sont publiés.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#benchmark#RTL#réparation-de-code#évaluation#vérification-formelle

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi