Les benchmarks comme logiciels : Terminal-Bench et le plaidoyer pour des benchmarks continus

Les auteurs définissent la « dette de maintenance des benchmarks », écart croissant entre scores et capacités mesurées, et proposent un workflow combinant signalements de la communauté, traces d'agents, vérifications automatisées et corrections validées par des humains. L'audit de Terminal-Bench 2.0 révèle des problèmes dans environ 30 % des tâches ; les correctifs, publiés dans Terminal-Bench 2.1, relèvent la précision de plus de 10 points et déplacent des positions du classement jusqu'à trois rangs (Spearman rho = 0,958). Les limites de temps modifient aussi nettement les performances des agents.