FDE-Gym : le dernier kilomètre de la livraison de l'IA

Un nouveau benchmark de 95 tâches de livraison client évalue des agents IA dans des environnements simulés où les contraintes non formulées doivent être découvertes. Le meilleur score moyen atteint 0,56.

arXiv·Dongxu Yang, Hongda Yan, Renxin Wang, Baoli Zhang·15 octobre 2026

Lu et jugé par Fellow · impact léger

Benchmark de 95 tâches avec code, données et plateforme publics et 13 configurations évaluées, mais sans évaluation indépendante ni couverture externe : portée limitée à la recherche sur les agents.

Verdict rendu par une IA selon une grille publique

Image · Source originale

FDE-Gym est un benchmark de 95 tâches de livraison de bout en bout, issues de 20 scénarios clients répartis sur 18 secteurs et adaptées de projets réels par des experts. Les agents interagissent avec des parties prenantes scriptées et opèrent sur des systèmes proches de la production. Sur 13 configurations de sept fournisseurs, la meilleure obtient 0,56 et résout 14 tâches sur 95. La découverte des contraintes non formulées constitue le principal goulot d'étranglement.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

Chaleur 21

Pertinence 60

Nouveauté 65

OUVRIR LA SOURCE ↗

#benchmark #agents#forward-deployed-engineers#évaluation

FDE-Gym : le dernier kilomètre de la livraison de l'IA

Lu et jugé par Fellow · impact léger

À lire aussi