Benchmarks
Fellow suit ce sujet depuis avril 2026 : 448 articles résumés en français, dont 111 jugés majeurs ou notables.
Toute l'actualité · 448 articles
SWE-Gate : réussir les tests fonctionnels ne suffit pas pour les agents d'ingénierie logicielle
Un nouveau benchmark révèle qu'un tiers des correctifs validés par les tests fonctionnels ignorent les contraintes de revue de code réelles.
Post-entraînement de LLM pour atteindre le niveau médaille d'or en compétitions de programmation
Nemotron-3-Ultra-CC dépasse le meilleur score humain à l'IOI 2026, une première pour un système d'IA sur ce type d'épreuve.
Preuve d'optimalité pour le benchmark frb100-40
Après deux décennies, le problème Model-RB frb100-40 est résolu via un ensemble indépendant certifié et une étude préenregistrée.
EarlyEval : réduire le coût de l'évaluation des agents grâce à la prédiction précoce des résultats
Un framework léger prédit l'issue d'une tâche d'agent avant sa fin, coupant jusqu'à 44% des tokens consommés sans perte de précision.
LLM : intelligence versus coût, un arbitrage à repenser
Une analyse examine le rapport entre performance des LLM et coût d'inférence, questionnant la course à la puissance brute.
Claude Fable/Mythos 5.1 : nouveau SOTA, cache 75% moins cher mais 70% plus de tokens en sortie
Anthropic met à jour son modèle phare, revoit la tarification du cache mais le coût net par tâche grimpe de 20%, selon Artificial Analysis.
Anthropic dévoile Claude Fable 5.1, spécialisé en code et science
Nouveau modèle d'Anthropic avec des progrès marqués en coding et benchmarks scientifiques, testé sur le "pelican benchmark".
BenchMIRT : que mesurent réellement les benchmarks LLM ?
Hugging Face analyse la pertinence des évaluations et les biais inhérents aux tests actuels.
CordisBench : raisonnement sur cycles de vie d'agents
Un benchmark évalue la capacité des modèles à suivre l'impact des modifications de plugins dans des systèmes dynamiques complexes.
Quantization des LLM : pourquoi mieux vaut répartir la précision globalement
Une étude sur 9 modèles open-weights montre que les dégâts de la quantization sont diffus, pas localisés, et que la granularité globale bat les réparations ciblées.
Récupéré mais mal classé : le biais de forme de surface dans la recherche structurelle, des maths aux trajectoires d'agents
Une étude montre que les embedders s'accrochent aux mots plutôt qu'à la structure, avec un Hit@1 à 0% en maths sur les cas les plus déguisés.
44 % sur ARC-AGI-1 pour 67 centimes de dollar
Un développeur détaille comment atteindre 44 % de score sur le benchmark ARC-AGI-1 avec un budget de calcul dérisoire.
PaperGym : un environnement d'entraînement basé sur des rubriques pour générer des plans de recherche
Un nouveau framework transforme les papiers scientifiques en environnements d'entraînement RL pour évaluer la planification de recherche des IA, sans fuite de critères.
Impact de l'échelle des LLM sur l'apprentissage d'ontologies
Une étude contrôlée évalue 13 modèles Qwen et GPT pour déterminer l'influence de la taille sur l'apprentissage d'ontologies.
Aspire : l'évolution de modèles par objectifs vagues
Un nouveau benchmark évalue la capacité des agents à apprendre et évoluer à partir de buts imprécis.
Impact de l'évaluation efficace sur les conclusions de benchmark IA responsable
Réduire les coûts d'évaluation via batching ou quantisation peut altérer les conclusions sur les biais et la performance des modèles.
S3Gym : évaluation de l'auto-amélioration des LLM
Un nouveau benchmark teste si les agents peuvent apprendre de leurs propres erreurs.
Tests réels : Qwen2.5 27B sur Mac Studio
Une analyse des performances de Qwen2.5 27B en exécution locale, basée sur des mesures concrètes.
Performance : éviter la bibliothèque musl
L'analyse comparative montre des pertes de performances significatives avec musl, en particulier sur les opérations de chaînes de caractères.
Terminal-Bench-Science : un benchmark pour évaluer les agents IA sur des workflows de recherche scientifique
Un nouveau benchmark teste les agents IA en ligne de commande sur des tâches réelles de recherche scientifique, au-delà du simple codage.
Benchmark du raisonnement sur mobile
Une analyse comparative de la performance des modèles d'IA sur smartphones, processeurs et NPU.
MCR-Bench : benchmark dynamique pour la revue de code
Un nouveau dataset évalue la capacité des LLM à gérer la revue de code sur plusieurs tours et dans des scénarios réels.
RATIO : benchmark pour la récupération d'idéations scientifiques
RATIO évalue la capacité des systèmes à récupérer de la littérature scientifique pour l'inspiration via des opérations d'idéation typées.
Needle : le benchmark que votre moteur de recherche ne peut pas mémoriser
Un nouveau benchmark cherche à contourner la contamination des données pour évaluer plus honnêtement les capacités de recherche des IA.
Premiers essais d'évaluations IA en double aveugle
DeepMind teste un protocole d'évaluation en double aveugle pour réduire les biais lors des benchmarks de modèles.
VBVR-Pro : suite évolutive et vérifiable pour le raisonnement visuel natif
Un benchmark proposant 300 tâches procédurales et des récompenses vérifiables pour entraîner le raisonnement visuel par génération.
MyoMechanix : écosystème multimodal pour l'analyse biomécanique
Un nouveau benchmark et un moteur de raisonnement allient vidéo, pose et sEMG pour un coaching sportif expert.
Une ligue de football robotique gérée par des modèles IA
Une ligue virtuelle où des agents de pointe pilotent des clubs : l'IA prend les décisions tactiques et stratégiques.
Ces tests d'intelligence piègent encore les IA
Les casse-têtes révèlent les forces et faiblesses cognitives des modèles par rapport à l'humain.
Ce que le FID cache : détecter, classer et diagnostiquer les écarts en évaluation générative
Une étude montre les limites du FID et propose ZID, un nouveau cadre de diagnostic plus fin pour évaluer les modèles génératifs.
Recuris : une mémoire expérientielle-de-travail récursive pour des agents à long horizon
Une nouvelle architecture de mémoire permet aux agents IA d'améliorer leurs compétences en isolant précisément l'origine de leurs échecs.
StarHarness : faire évoluer les harnais d'agents par recherche stratifiée pour l'entreprise
Un framework qui améliore les performances d'agents IA en entreprise en optimisant l'environnement d'exécution plutôt que le modèle lui-même.
SWE Refactor Bench : les agents de codage peuvent-ils migrer un dépôt entier ?
Un nouveau benchmark révèle que les agents IA échouent massivement à migrer des bases de code complètes sans tricher ni casser le comportement.
Prime Agent : un harness open-source pour agents auto-améliorants à long horizon
Ce framework combine REPL persistant et sous-agents récursifs pour faire passer le score ARC-AGI-3 de 30% à 95,5%.
La taxe d'interaction : quand la communication efface la diversité des agents
L'interaction entre LLM multi-agents peut réduire la diversité des solutions et nuire aux performances sous budget contraint.
EarthVerse : un benchmark pour évaluer les agents scientifiques sur les systèmes terrestres et les catastrophes naturelles
405 tâches basées sur 199 événements documentés révèlent les limites des agents IA en analyse scientifique multi-étapes.
Quand les noms changent d'écriture : un benchmark pour la réconciliation d'entités historiques mongoles
MHER teste des systèmes génératifs sur des identités de personnes historiques mongoles, montrant l'importance décisive du contexte source face aux simples noms.
Ox-Alpha serait en réalité le modèle GLM
Un modèle mystère testé sur des plateformes de benchmark serait identifié comme une variante du modèle chinois GLM.
Qwen 3.8 27B réussit un reverse-engineering en 30 min
Le modèle d'Alibaba a démontré ses capacités techniques en résolvant une tâche complexe de rétro-ingénierie en un temps record.
NanoGPT Speedrun : la frontière des records d'entraînement rapide
Prime Intellect documente les progrès de la communauté sur le speedrun NanoGPT, un défi d'optimisation d'entraînement de LLM.
VIALS : un benchmark pour l'interprétation visuelle d'artefacts en sciences de la vie
161 tâches d'interprétation d'images scientifiques révèlent les limites des modèles vision-langage face aux workflows réels de biotech.
De la régulation à l'application : évaluation critique de la conformité réglementaire assistée par LLM en industrie
Une étude teste les LLM sur la génération de passeports produits numériques (DPP) et d'analyses d'impact GDPR (DPIA), avec des résultats mitigés.
Optimisation des benchmarks en reconnaissance vocale
Hugging Face analyse l'impact de l'optimisation sur les benchmarks de reconnaissance automatique de la parole.
ConceptGuard : un benchmark pour évaluer l'unlearning sensible au contexte dans les LLM
Un nouveau benchmark teste la capacité des LLM à oublier des usages nuisibles d'un concept sans perdre ses usages légitimes.
AI4AI-Bench : évaluer la capacité des agents LLM à concevoir des algorithmes d'entraînement
Nouveau benchmark testant si des agents LLM peuvent réécrire des algorithmes d'entraînement, condition clé pour une auto-amélioration récursive.
Quelle politique d'éviction pour un cache LLM ? Une étude systématique
Une comparaison rigoureuse de sept politiques d'éviction de cache sémantique révèle que LFU domine, mais que le vrai problème est ailleurs.
ProgramBench Vetted : ingénierie inverse sur binaire
Un benchmark pour évaluer les capacités de rétro-ingénierie des LLM sur du code binaire exécutable.
Précision plutôt que capacité : une nouvelle métrique pour évaluer les modèles d'IA en frontière
Un chercheur propose de mesurer la régularité des réponses des LLM plutôt que leur performance moyenne, jugée saturée sur les benchmarks actuels.
GLM-5.3 : résultats des benchmarks Artificial Analysis
Le nouveau modèle GLM-5.3 de Zhipu AI a été évalué par Artificial Analysis, qui publie ses scores sur une batterie de benchmarks standards.
TokEval : une suite d'évaluation pour tokenizers
Un nouveau framework évalue les propriétés des tokenizers et leur impact réel sur les performances des modèles.