Senior SWE-Bench : un benchmark open-source pour évaluer les agents comme des ingénieurs seniors

Senior SWE-Bench est un benchmark open-source conçu pour tester les agents IA sur des problèmes d'ingénierie logicielle réels, de niveau senior. Contrairement aux benchmarks existants centrés sur des corrections de bugs simples, il soumet les agents à des tâches impliquant architecture, refactoring et prise de décision complexe. L'initiative vise à mieux cerner l'écart entre les capacités actuelles des agents et celles d'un développeur expérimenté.