Aller au contenu
Édition du soir · N° 574 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : notable

SWE-Gate : réussir les tests fonctionnels ne suffit pas pour les agents d'ingénierie logicielle

Un nouveau benchmark révèle qu'un tiers des correctifs validés par les tests fonctionnels ignorent les contraintes de revue de code réelles.

arXiv·Xin He, Yanlin Wang, Mingwei Liu, Jiachi Chen·3 septembre 2026

Lu et jugé par Fellow · impact notable

Nouveau benchmark chiffré (303 instances, 75 dépôts) montrant que 221/644 correctifs validés fonctionnellement violent des contraintes de revue réelles.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

SWE-Gate : réussir les tests fonctionnels ne suffit pas pour les agents d'ingénierie logicielle
Image · Source originale
SWE-Gate est un benchmark évaluant les agents de codage non seulement sur la réussite des tests fonctionnels, mais aussi sur le respect des contraintes issues de vraies revues de pull requests. Construit à partir de 303 instances de réparation sur 75 dépôts Python open source, il montre que sur 644 correctifs passant les tests fonctionnels, 221 ne respectent pas les contraintes de revue fournies. Les auteurs concluent que l'évaluation purement fonctionnelle surestime la capacité réelle des agents à traiter des tâches complètes de réparation de code.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#coding-agents#benchmark#software-engineering#llm-evaluation

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi