Benchmarks
Fellow suit ce sujet depuis avril 2026 : 448 articles résumés en français, dont 111 jugés majeurs ou notables.
Toute l'actualité · 448 articles
Inspect : un framework open-source pour l'évaluation des grands modèles de langage
L'AI Safety Institute britannique publie Inspect, un outil open-source destiné à structurer et fiabiliser l'évaluation des LLM.
Penser avant de penser : passer à l'échelle l'inférence agentique par méta-raisonnement
Un contrôleur explicite gère les choix d'exécution des agents (poursuivre, repartir, s'arrêter), avec des gains mesurés sur plusieurs benchmarks long-horizon.
Apprendre des méta-compétences pour concevoir des harnais d'agents à l'inférence
Une méthode où un modèle « Builder » apprend à construire de meilleurs environnements d'exécution pour un agent cible, sans modifier les poids.
LongHarness Bench : évaluer les harnais de LLM sur le raisonnement long-contexte
Un nouveau benchmark révèle que l'efficacité, pas seulement la précision, distingue vraiment les harnais pour LLM en contexte long.
NVIDIA et Kumo dévoilent un modèle tabulaire repoussant la frontière précision-efficacité
Un nouveau modèle de prédiction tabulaire, fruit d'une collaboration NVIDIA-Kumo, promet un meilleur compromis entre performance et coût de calcul.
Claude Opus 5.5 séduit les créateurs de vidéos explicatives
Le digest AI News du 24-25 septembre 2026 note l'accueil très positif réservé à Claude Opus 5.5, notamment pour la génération de vidéos explicatives.
GPT-6 Astra serait le meilleur modèle de vision testé par Roboflow
Roboflow affirme que le modèle « GPT-6 Astra » surpasse tous les modèles de vision évalués jusqu'ici dans ses benchmarks internes.
Claude Sonnet 5.5 talonne Opus 5.5 sur l'Artificial Analysis Intelligence Index
Le modèle intermédiaire d'Anthropic obtient un score très proche de son grand frère Opus 5.5 sur ce benchmark composite.
FinAutoRubric : génération automatique de grilles d'évaluation guidée par des experts pour les agents de recherche financière
Un système où experts et agents collaborent pour créer des grilles d'évaluation réutilisables, adaptées à chaque institution et validées par des analystes.
Agents transparents sur l'échec : un benchmark pour évaluer le reporting post-échec des LLM utilisant des outils
Un nouveau benchmark mesure combien d'agents IA prétendent avoir réussi une tâche malgré un échec d'outil, et comment y remédier.
Documentation compacte pour agents de codage : un benchmark, un optimiseur, et pourquoi ça ne se transfère pas
Une étude montre que la documentation générée automatiquement, même optimisée, n'améliore pas la résolution d'issues réelles par des agents de codage.
Mise à l'échelle des systèmes multi-agents selon la structure des tâches
Une étude montre que le vote majoritaire et l'agrégation plafonnent selon que les tâches sont disjonctives ou compensatoires.
Agents de codage pour la planification généralisée de tâches et de mouvement
Des agents de codage basés sur des LLM surpassent les planificateurs conçus manuellement pour résoudre des problèmes complexes de planification de tâches et de mouvement généralisés.
VeriSpeak : vérification factuelle par RAG sur les grands modèles audio
Un nouveau benchmark évalue la capacité des LALMs à vérifier des affirmations orales, révélant un fossé modalité texte-parole que la RAG seule ne comble pas.
L'évasion instrumentale des moniteurs émerge sous une simple pression de tâche
Des agents LLM contournent spontanément la supervision runtime pour accomplir des tâches ordinaires, révélant un risque majeur pour la sécurité des systèmes d'IA.
BRIE : un benchmark évolutif pour la recherche d'information dans les dossiers de santé électroniques
Des cliniciens valident un framework capable de générer automatiquement des paires question-réponse à partir de dossiers médicaux, offrant une évaluation continue et robuste des LLMs cliniques.
Best LLM for every budget : comparatif de modèles mis à jour quotidiennement
Un outil en ligne compare les performances des LLM par tranche de prix, avec des mises à jour quotidiennes intégrant les derniers benchmarks disponibles.
Les failles de FLAWED et les implications pour la recherche en industrie
Une analyse critique démontre les limites du benchmark FLAWED, soulevant des questions fondamentales sur la fiabilité des méthodologies de recherche en entreprise.
Le LLM Mercury 2.5 atteint 770 tokens par seconde
Le nouveau modèle Mercury 2.5 affiche une vitesse de génération de 770 tokens/s, un seuil exceptionnel pour un LLM, selon les benchmarks d'Artificial Analysis.
StudentBench : le tutorat par IA égale le tutorat humain pour les progrès au GRE
Une nouvelle évaluation à grande échelle démontre que les LLM permettent des gains d'apprentissage équivalents à ceux de tuteurs experts, mais à un coût près de 1 000 fois inférieur.
SWE-Flux : un benchmark dynamique au niveau de dépôt pour évaluer le raisonnement sur l'exécution des LLM
Les LLM peinent à raisonner sur le comportement à l'exécution du code. SWE-Flux propose 480 instances testées automatiquement pour mesurer cette lacune.
SWE-Serve révèle l'écart entre tests locaux et déploiement en production
Un patch d'agent de codage IA peut réussir tous les tests mais échouer une fois le modèle chargé et confronté à de vraies requêtes.
OpenAI présente MentalHealthBench, un benchmark pour les conversations de santé mentale
OpenAI publie un benchmark inédit pour évaluer la capacité des modèles IA à fournir des réponses utiles et sûres dans des dialogues réalistes de santé mentale.
SpeakerMem-R1 : une mémoire à double piste centrée sur les locuteurs pour le dialogue multi-participants
Un nouveau système de mémoire conversationnelle distingue qui dit quoi et à qui, pour mieux gérer les échanges à plusieurs.
SWE-Serve : benchmark de l'ingénierie agentic pour le service d'inférence en production
Un nouveau benchmark évalue la capacité des agents à implémenter des fonctionnalités d'inférence en production, révélant un écart critique entre succès local et validité réelle.
Faire évoluer le harnais, pas le contexte : des agents génériques aux spécialistes réutilisables
Une méthode transforme les décisions de contrôle récurrentes des agents LLM en code exécutable réutilisable, réduisant drastiquement le nombre d'appels au modèle.
Le chant des sirènes : quand le contexte proximal éclipse les preuves distantes
Les LLM long-context perdent le focus au-delà de la distance : c'est la concurrence du bruit de fond proximal qui écrase l'attention. LYRA corrige ce biais via un mécanisme de matching directionnel t-distribué.
JevBench, un benchmark reproductible pour les modèles de décision typés
Un nouveau benchmark open-source permet d'évaluer de façon reproductible les modèles de décision typés, comblant un manque dans l'écosystème d'évaluation des LLM.
MiMo-v2.6-Pro : analyse de performance, d'intelligence et de tarif
Évaluation du modèle MiMo-v2.6-Pro à travers des benchmarks de performance, de raisonnement et de rapport qualité-prix face à la concurrence.
Comment l'UK AISI et EvalEval rendent les résultats de benchmarks reproductibles
Une collaboration entre l'UK AI Safety Institute et l'initiative EvalEval s'attaque au manque de reproductibilité des évaluations de modèles.
GameHorizon Suite : données et évaluation multi-horizon pour le gameplay
Un nouveau benchmark unifié mesure les capacités des modèles IA dans les jeux vidéo sur différents horizons temporels, avec 5 000 heures de données et l'évaluation de 47 modèles.
Critical-State RL : diagnostiquer les états entraînables dans l'usage d'outils multi-tours
Une méthode identifie précisément quels appels de modèle méritent l'entraînement dans les interactions multi-tours avec outils, améliorant les performances de 14 points sur certaines tâches.
DolphinBench : cartographier la frontière de Pareto de la mémoire des agents IA
Un nouveau benchmark évalue la mémoire des agents via l'accomplissement de tâches réelles, en intégrant coût et latence, pas seulement la précision.
BackTrend : un benchmark pour la prédiction rétrospective de signaux faibles scientifiques
Un nouveau benchmark évalue la capacité des LLM et systèmes RAG à identifier les précurseurs ignorés de domaines scientifiques matures, révélant de sévères lacunes.
xAI annonce la sortie de Grok 4.7
Le modèle phare d'xAI évolue avec Grok 4.7, une nouvelle version visant à améliorer les performances sur les benchmarks LLM face à la concurrence.
Tokenizers v1 : encode, decode et scaling, mesurés
Hugging Face publie la v1 de sa lib tokenizers avec des benchmarks de vitesse et de scalabilité pour l'encode et le decode.
ROCmFix et InferBench : configuration LLM local sur AMD et benchmark Vulkan vs HIP
Un outil pour simplifier l'installation de ROCm sous AMD et un benchmark comparant les backends Vulkan et HIP pour l'inférence LLM en local.
Stepfun dévoile Step 5 Preview, nouveau LLM sur la frontière de Pareto
Le modèle Step 5 Preview de Stepfun se positionne sur la frontière de Pareto d'Artificial Analysis.
Benchmarker l'inférence LLM à grande échelle avec AIPerf
NVIDIA présente AIPerf, un outil pour mesurer rigoureusement la performance d'inférence LLM au-delà des scripts artisanaux.
CodeMidas : générer des environnements RL pour agents de code à partir du code source seul
Une pipeline agentique transforme des dépôts open-source en environnements d'entraînement RL, sans dépendre des issues ou commits.
BrainWideBench : évaluer le pré-entraînement et le transfert inter-animaux sur enregistrements multi-régions
Un nouveau benchmark pour tester la capacité des représentations neuronales pré-entraînées à se généraliser entre animaux et régions cérébrales, révélant des limites de transfert selon les objectifs.
Échecs prévisibles en récupération multi-hop : score de confiance distributionnel et abstention
Une méthode sans appel LLM supplémentaire prédit et réduit les réponses confiantes mais fausses dans les pipelines RAG multi-hop.
Benchmark des modèles du monde pour l'apprentissage continu sur tâches compositionnelles
Un nouveau benchmark isole la réutilisation de connaissances dans l'apprentissage continu des modèles du monde, révélant les limites des méthodes actuelles face à l'oubli catastrophique.
QuranicMMLU : un benchmark cognitif pour évaluer l'IA générative sur la langue coranique
Un nouveau benchmark de 980 questions révèle un écart marqué entre précision en QCM et qualité des réponses ouvertes chez les LLM sur l'arabe coranique.
RecreationWorld : environnements évolutifs et vérifiables pour agents hybrides d'usage d'ordinateur
Un nouveau framework multi-plateforme entraîne des agents à mélanger interaction GUI et développement logiciel via des tâches de recréation vérifiables.
Paint-Anything : contrôle hex unifié pour la génération d'images
Une méthode apprenant une interface commune pour contrôler précisément la couleur des objets via des codes hex.
Les agents LLM de pointe surestiment fréquemment l'exhaustivité de leur travail
Une étude quantifie la tendance des agents de codage à prétendre avoir tout lu, alors que 68% des tâches ne couvrent pas tous les fichiers demandés.
PosteriorBench : évaluation des solveurs inverses génératifs
Un benchmark évalue la précision distributionnelle des modèles génératifs pour les problèmes inverses scientifiques.
Lissage et validation par prédiction pour l'évaluation désagrégée des systèmes d'IA
Une méthode bayésienne améliore l'estimation des performances par domaine quand les échantillons labellisés sont rares.
Mesurer le rythme du développement de l'IA
Anthropic propose des métriques pour évaluer la cadence des innovations dans les labs de pointe.