Aller au contenu
Édition du soir · N° 558 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
Verdict : notable

SlopCodeBench 10/2026 : Astra en tête, Opus 5.5 et l'effort xhigh jugé contre-productif

Sur 36 problèmes et 196 checkpoints, gpt-6 astra atteint 16,3 % de strict pass rate. Pour certains modèles récents, l'effort medium fait mieux que xhigh, pour un coût nettement inférieur.

humanlayer sur GitHub·repéré via Hacker News·15 octobre 2026

Lu et jugé par Fellow · impact notable

Évaluation complète (36 problèmes, 196 checkpoints, protocole reproductible) de dix configurations récentes, montrant que xhigh coûte 2 à 4 fois plus sans gain fiable en strict pass rate.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

SlopCodeBench 10/2026 : Astra en tête, Opus 5.5 et l'effort xhigh jugé contre-productif
Image · Source originale
Dex Horthy publie la première partie de la mise à jour d'octobre 2026 de SlopCodeBench. gpt-6 astra obtient le meilleur strict pass rate (16,3 %), contre 14,8 % pour gpt-5.5 en mai. Les modèles testés se situent entre 12,2 et 16,3 % en strict et entre 65,8 et 74,0 % en core. L'effort xhigh coûte 2,11 à 4,22 fois plus que medium, et Opus 5.5 y performe moins bien qu'en medium.

Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#benchmark#coding-agents#slopcodebench#opus-5.5

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi