Aller au contenu
Édition du soir · N° 630 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
OPINION
Verdict : léger

MaxxBench : « Beau score sur DeepSWE. Mais est-il fiable ? »

MaxxBench, un projet publié sur le site unlap.ai, remet en question la fiabilité des scores obtenus sur le benchmark DeepSWE, utilisé pour évaluer les agents de code.

maxxbench.unlap.ai·repéré via Hacker News·7 novembre 2026·

Lu et jugé par Fellow · impact léger

Projet qui interroge la fiabilité des scores DeepSWE, utile au débat sur la vérification des benchmarks, mais sans résultats chiffrés ni évaluation indépendante établis dans le résumé.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
MaxxBench : « Beau score sur DeepSWE. Mais est-il fiable ? »
Image · Source originale
Le projet MaxxBench, présenté par @antiuniverse sous le titre « Nice DeepSWE score. But is it true? », interroge la validité des scores affichés sur DeepSWE. La page, relayée sur Hacker News, s'inscrit dans le débat sur la vérification des résultats de benchmark.

Traduit et résumé par IA à partir de l'article de maxxbench.unlap.ai ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#benchmark#deepswe#évaluation#agents-de-code

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi