Benchmarks
Fellow suit ce sujet depuis avril 2026 : 448 articles résumés en français, dont 111 jugés majeurs ou notables.
Toute l'actualité · 448 articles
StagedWorkspace : un espace de travail versionné pour les agents de knowledge work
Une nouvelle architecture lie fichiers natifs, vues analysées et diffs à des hashs de contenu pour fiabiliser les agents IA sur documents.
Le défi IOL-AI : évaluer le raisonnement linguistique
Un benchmark basé sur l'Olympiade Internationale de Linguistique pour tester la capacité des modèles à déduire des règles.
L'auto-amélioration récursive de l'IA pourrait tarder à se concrétiser
Une étude Princeton relativise les prévisions d'explosion des capacités IA : les agents manquent encore de jugement pour la recherche ouverte.
Que lisent vraiment les détecteurs de conformité ? Un audit des probes d'activation et des modèles de garde-fous
Une étude révèle que les détecteurs de conformité des LLM ignorent souvent la règle elle-même, un phénomène nommé « cécité aux règles ».
CaliBench : les dynamiques stochastiques des modèles de monde vidéo sont-elles physiquement calibrées ?
Un nouveau benchmark révèle que les modèles vidéo génératifs concentrent leurs sorties sur peu d'issues au lieu de reproduire des distributions physiques réelles.
GPT-5.6 Sol : le meilleur modèle « vision » jamais publié par OpenAI
Roboflow affirme que GPT-5.6 Sol surpasse tous les modèles vision précédents d'OpenAI sur ses tests de perception visuelle.
Qwen 3.8 27B est excellent, mais sur-réfléchit massivement par défaut
Le nouveau modèle vision d'Alibaba impressionne sur les benchmarks, mais son mode de raisonnement par défaut génère un surcoût de calcul énorme.
L'IA ne surpasse pas les mathématiciens en raisonnement, mais en mémoire
Un essai avance que les performances des LLM en mathématiques reflètent surtout une capacité de récupération massive plutôt qu'un véritable raisonnement original.
Gemini 3.7 Flash remet GDM en tête
Google présente Gemini 3.7 Flash, une mise à jour majeure qui redresse sa compétitivité face à Claude 4.8+ et GPT 5.5+.
AutoDesign : optimisation méta-harness pour la conception agentique à long horizon
Un framework qui apprend à améliorer son propre harnais d'agent, testé sur la génération automatique de posters académiques.
HumanTracker : un benchmark complet et aligné sur le jugement humain pour le suivi de mouvement
Un nouveau benchmark et une métrique préférentielle révèlent les failles de contact et de stabilité que les mesures cinématiques classiques ignorent.
QuoteBench : comment des scores identiques masquent des échecs liés au transport des commandes
Une nouvelle étude montre que les scores d'exécution agrégés dissimulent des erreurs introduites après la génération, faussant l'évaluation des agents Bash.
Vero : des agents IA capables de construire des dépôts logiciels formellement vérifiés ?
Un nouveau benchmark évalue si les agents IA peuvent produire, à l'échelle d'un dépôt entier, du code et des preuves formelles cohérents.
DFM Mimir v1 : performances frontières à 1B avec données éthiques
Un modèle 1B paramètres basé sur l'architecture HRM, entraîné uniquement sur des données permises.
Le Conceptual Reasoning Index d'Anthropic
Anthropic publie une méthode pour évaluer la robustesse des raisonnements conceptuels face à la distillation.
Comparatif IA : un prompt, 11 modèles, résultats disparates
Une étude de Netlify confronte 11 LLM à une même requête pour mesurer les écarts de performances et de coûts.
DreamFly : mémoire causale et planification par diffusion pour la navigation aérienne
Un framework de diffusion pour la navigation aérienne VLN améliorant la mémoire et l'arrêt explicite.
VAKRA : un benchmark pour évaluer le raisonnement multi-étapes des agents sur APIs et recherche documentaire
IBM Research publie un benchmark de plus de 8 000 APIs exécutables pour tester les agents LLM sur des scénarios d'entreprise réalistes.
Diagram-MMU : benchmark multimodal pour diagrammes scientifiques
Un nouveau benchmark évalue la capacité des MLLM à parser et comprendre des diagrammes scientifiques complexes.
Un seul simulateur figé ne suffit pas : l'effondrement du simulateur en RL multi-agents
Des chercheurs identifient pourquoi les politiques entraînées contre un simulateur LLM unique généralisent mal, et proposent deux correctifs efficaces.
Grok 4.6 de SpaceXAI obtient un score de 61 sur l'Artificial Analysis Intelligence Index
Le nouveau modèle de xAI se positionne dans le benchmark indépendant d'Artificial Analysis, entre ses concurrents directs.
MindTopo : un benchmark pour le raisonnement topologique des VLM
MindTopo évalue la capacité des modèles multimodaux à comprendre et manipuler des relations spatiales complexes comme la connectivité.
DACRI : un classement d'interventions causales pour piloter les chaînes d'approvisionnement critiques
Un nouveau benchmark synthétique compare des politiques d'intervention face aux ruptures d'approvisionnement, avec des résultats contrastés selon les secteurs.
Rétention de politique dans les agents multilingues
Une étude analyse la cohérence des actions d'agents IA sur 41 langues.
Au-delà du naturel : évaluer les évaluateurs automatiques de synthèse vocale sur des dimensions linguistiques
Une étude révèle que les prédicteurs MOS et les juges Audio-LLM échouent à capturer la richesse des erreurs linguistiques dans la synthèse vocale.
Grip on LLMs : évaluer les LLM pour le gouvernement néerlandais
Un nouveau framework évalue les modèles sur six dimensions clés pour un usage public administratif.
GENCO : un solveur neuronal unifié pour l'analyse des réseaux électriques en régime permanent
Un cadre open-source combine flux de puissance, OPF et estimation d'état dans un seul réseau neuronal, avec des gains de vitesse massifs face aux solveurs classiques.
DSLE : un environnement d'apprentissage pour les combats de boss de Dark Souls
Un benchmark basé sur les 22 boss de Dark Souls: Remastered met en échec les agents RL classiques, seuls des systèmes experts battent le boss tutoriel.
Fusion de modes de raisonnement : une étude systématique de l'entraînement des LLM en mathématiques
Une étude analyse les compromis entre mode « réflexion » et mode concis lors de l'entraînement conjoint de LLM sur des problèmes mathématiques.
DeepSeek V4 Flash 0731 : 82,7 % sur Terminal-Bench 2.1 avec un harness public
Un nouveau modèle DeepSeek revendique un score élevé sur le benchmark d'agents Terminal-Bench 2.1, avec méthode d'évaluation publiée.
Lancement de Benzi, un agent de code surpassant Claude Code
Ce nouvel outil d'assistance au développement se positionne comme une alternative performante, battant Claude Code lors de tests sur Sonnet.
DeepSeek dévoile le modèle V4 Flash 0731
Un nouveau modèle performant intègre le leaderboard Arc Prize.
Fisher-R1 : un agent LLM entraîné pour des tests d'hypothèses statistiquement fiables
Un nouveau benchmark révèle que les agents LLM commettent des erreurs d'inférence subtiles malgré des analyses correctement exécutées.
SABRE : un pipeline automatisé pour construire des benchmarks de stress-test pour VLMs
Les modèles vision-langage s'améliorent vite, mais leurs benchmarks stagnent : SABRE automatise la création de tests difficiles et révèle des lacunes majeures.
Le B200 surpasse le LPU et rivalise avec Cerebras par logiciel
Une optimisation logicielle permet à un seul B200 de battre l'unité LPU et d'approcher les performances Cerebras en inference.
Qwen2.5-Max meilleur modèle global sur l'Agentic Index
Qwen2.5-Max domine le classement Artificial Analysis selon l'indice agentic.
Apprendre à faire confiance sélectivement au contexte via un DPO adapté
Un benchmark et une méthode d'entraînement pour distinguer les modèles qui ignorent aveuglément le contexte de ceux qui savent vraiment quand s'y fier.
La dure leçon de l'appel d'outils : le code surpasse le JSON pour les agents LLM
Une étude compare le tool calling programmatique au JSON classique sur 14 modèles et montre une supériorité nette sur BFCL v4.
Le piège des basses fréquences : les modèles vidéo-langage échouent au comptage simple d'événements
Une étude sur 2 190 vidéos contrôlées révèle que les VLM comme Gemini échouent massivement dès que le nombre et la fréquence d'événements augmentent.
CalibForge : calibration adversariale de solveurs pour générer des tâches terminales apprenables
Un système autonome ajuste des tâches d'agents terminaux selon leur difficulté réelle pour un solveur donné, améliorant nettement les performances d'entraînement.
TrajDebug : traçage des erreurs critiques dans les trajectoires d'agents long-horizon
Un nouveau cadre de diagnostic identifie et corrige les erreurs en cascade dans les systèmes d'agents complexes.
Un benchmark pour évaluer les LLM sur la revue de documents normatifs chinois GB/T
GB/T-Bench teste la capacité des LLM à détecter des erreurs structurelles et normatives dans des standards nationaux chinois, un exercice jusqu'ici réservé aux experts humains.
Battre GPT-5.6 Sol sur la recherche documentaire avec des modèles open 100 fois moins chers
Neon affirme que son modèle Castform surpasse GPT-5.6 Sol sur des tâches de retrieval, pour une fraction du coût d'inférence.
Argus : un runtime agentique généraliste pour le raisonnement à long horizon
Un système multi-rôles (Manager, Planner, Engineer, Reviewer) qui persiste ou pivote selon les preuves, avec état projet durable et vérification.
Vers des LLM « natifs des compétences » : l'entropie des compétences pour évaluer et entraîner le raisonnement long
Un nouveau benchmark et une méthode RL mesurent et améliorent la capacité des LLM à basculer entre compétences dans des chaînes de raisonnement complexes.
Adaptation de Nemotron pour le grec moderne
Adaptation complète de la stack Nemotron pour le RAG en grec moderne, avec création du benchmark HERA.
Spoken Function Calling : une nouvelle approche de la compréhension du langage parlé pour les modèles audio-langage
Une méthode structurée pour dépasser les limites du SLU traditionnel, appliquée aux LLM et aux modèles audio-langage de grande taille.
Reconnaissance d'incidents de classe : raisonnement robuste
Un nouveau cadre hybride allant efficacité et protection de la vie privée pour analyser les vidéos de classe.
ABSeeker : entraîner des agents de recherche long-horizon via une attribution de crédit rétropropagée depuis la réponse
Un nouveau framework transforme les récompenses binaires éparses en supervision dense étape par étape pour mieux entraîner les agents de recherche multi-étapes.
Votre modèle connaît déjà la réponse : comment les benchmarks fuitent dans les LLM
Une analyse pointe la contamination des données d'entraînement par les réponses des benchmarks, faussant l'évaluation réelle des performances des LLM.