Aller au contenu
Édition du soir · N° 574 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE

PAIChecker : détecter les désalignements PR-Issue dans les benchmarks type SWE-Bench

13,6% des instances de SWE-bench Verified présentent un décalage entre pull request et issue, faussant l'évaluation des LLM sur la résolution de bugs.

arXiv·Manyi Wang, Junjielong Xu, Pinjia He·30 juillet 2026
PAIChecker : détecter les désalignements PR-Issue dans les benchmarks type SWE-Bench
Image · Source originale
Les auteurs analysent SWE-bench Verified et identifient cinq patterns de désalignement entre PR et issue liée dans onze scénarios précis, touchant 13,6% des instances. Ils proposent PAIChecker, un système multi-agents en trois phases combinant identification de patterns, synthèse d'étiquettes croisées et validation au niveau du code. Sur SWE-Gym et SWE-bench Multilingual, l'outil atteint jusqu'à 92,12% et 91,67% de précision binaire selon les backbones LLM testés.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#benchmark#swe-bench#évaluation-llm#multi-agents#code

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi