Benchmarks
Fellow suit ce sujet depuis avril 2026 : 448 articles résumés en français, dont 111 jugés majeurs ou notables.
Toute l'actualité · 448 articles
GPT-5.6, Grok 4.5, Claude et Muse Spark : les mêmes 4 apps comparées
Un benchmark applicatif oppose 12 modèles IA récents sur la construction de quatre applications identiques, révélant des écarts significatifs.
Une décennie de modèles vision-langage : évolution de la précision et des erreurs cognitives
Une étude sur dix ans montre que les modèles multimodaux récents ont quasiment comblé leur écart de performance face aux scènes sociales complexes.
Bun vs. Deno vs. Node.js en 2026 : les benchmarks réels induisent en erreur
Une analyse critique des benchmarks comparant les runtimes JavaScript populaires, et pourquoi les chiffres bruts peuvent tromper les développeurs.
Agents multimodaux QA par calibration et raisonnement incrémental
Une architecture multi-agents surpasse les systèmes classifs au challenge QANTA 2026 via des politiques de raisonnement ciblées.
OpenAI lance GPT-5.6 Sol/Terra/Luna, Codex devient une superapp ChatGPT
OpenAI dévoile trois nouvelles déclinaisons de GPT-5.6 (Sol, Terra, Luna) et un niveau d'effort inédit "ultra" coordonnant quatre agents en parallèle.
La famille GPT-5.6 : Luna, Terra et Sol — trois nouveaux modèles OpenAI
OpenAI lance trois modèles de la famille GPT-5.6 en disponibilité générale, avec des performances agentiques revendiquées supérieures à Claude Fable 5.
GLM 5.2 atteint une précision proche d'un comptable humain
Un test sur la comptabilité TVA montre que le modèle GLM 5.2 rivalise avec un comptable humain sur des tâches fiscales complexes.
UniClawBench : un benchmark universel pour les agents proactifs en environnement réel
Un nouveau benchmark évalue les agents LLM sur des tâches réelles en conteneurs Docker, avec une stratégie en boucle fermée pour simuler des interactions humaines multi-tours.
IdeaGene-Bench : évaluer le raisonnement sur la filiation des idées scientifiques
Un nouveau benchmark teste si les LLM comprennent comment les idées scientifiques héritent, mutent et évoluent à partir de travaux antérieurs.
MulTTiPop : un dataset multitrack pour la transcription automatique de musique pop
Un nouveau benchmark de 572 segments de pop music avec MIDI multitrack pour évaluer les modèles de transcription automatique.
AUTOPILOT VQA : un benchmark VQA centré sur les incidents de conduite dashcam
Un nouveau dataset évalue la capacité des modèles vision-langage à raisonner sur des incidents routiers réels, au-delà de la simple reconnaissance d'objets.
L'illusion d'équivalence : effets comportementaux de la quantization des LLM
La précision et la perplexité ne suffisent pas à évaluer la quantization : une nouvelle métrique comportementale révèle des divergences invisibles.
Un agent mémoire proactif pour améliorer les agents à horizon long
Des chercheurs proposent un module mémoire plug-and-play qui intervient sélectivement pour contrer la dégradation comportementale dans les tâches longues.
Tencent/Hy3 : un modèle MoE 295B rivalise avec les SOTA à l'échelle du trillion
Tencent publie Hy3, un modèle MoE de 295 milliards de paramètres qui affiche des performances comparables aux modèles de taille trillion.
Grok 4.5, GPT-5.5 et Claude testés sur la création des mêmes applications
Un comparatif pratique met en compétition trois grands LLMs sur des tâches de développement d'applications réelles.
Databricks évalue des agents de codage sur sa base de code de plusieurs millions de lignes
Databricks publie un benchmark interne d'agents de codage confrontés à une vraie codebase industrielle de plusieurs millions de lignes.
Processus de test agentiques, benchmarks LLM et notes sur le coding agentique
Une analyse approfondie des benchmarks LLM appliqués au coding agentique, de leur variance et de leurs limites méthodologiques.
Red-teaming institutionnel : les règles de déploiement façonnent la sécurité des systèmes multi-agents
Une nouvelle méthodologie d'évaluation montre que les règles de déploiement, et non les modèles seuls, déterminent causalement les comportements collectifs dangereux en IA multi-agents.
OpenAI met en évidence des problèmes de fiabilité dans SWE-Bench Pro
Une analyse d'OpenAI pointe des défauts dans SWE-Bench Pro, benchmark de référence pour évaluer les capacités de codage des modèles IA.
FootsiesGym : un benchmark de jeu de combat pour l'apprentissage par renforcement en deux joueurs
Un environnement open-source basé sur le jeu de combat minimaliste Footsies pour étudier les interactions stratégiques cycliques et non transitives.
RMISC : un corpus multivarié réel à grande échelle pour les modèles de fondation de séries temporelles
Un corpus de 200 jeux de données et 142 milliards de points temporels pour évaluer l'apport des données réelles vs synthétiques dans les TSFMs.
La propreté du code influence-t-elle les agents de codage ? Une étude en paires minimales contrôlées
Une étude expérimentale teste si la qualité du code source impacte les performances des agents LLM chargés de tâches de programmation.
Un tuteur IA atteint 0,71 à 1,30 écart-type d'effet dans un cours de Dartmouth
Une étude mesure l'impact d'un tuteur IA sur les résultats académiques : les gains observés dépassent largement les standards habituels de l'enseignement assisté.
Le crépuscule des chatbots
Ethan Mollick documente l'accélération des capacités des IA au travail réel, au-delà du simple rythme des sorties de modèles.
Une startup affirme avoir levé un verrou algorithmique qui freine les LLM
Subquadratic, basée à Miami, dit avoir résolu le problème de complexité quadratique des LLM grâce à la « sparse attention ». Des tests indépendants semblent prometteurs.
GLM-5.2 dépasse GPT-4.5 sur certains benchmarks et passe le « vibe check » des experts
Le dernier modèle open-weights de Z.ai séduit les observateurs : GLM-5.2 surclasse GPT-4.5 sur un benchmark de knowledge work et reçoit les éloges de Jeremy Howard.
GLM-5.2 : le meilleur modèle de coding frontend au monde, et IndexShare pour le Speculative Decoding
Z.ai lance GLM-5.2, un modèle 744B qui dépasse tous les Claude Opus sur le coding frontend et talonne Opus 4.8 au classement général.
DRFLOW : un benchmark pour la prédiction de workflows personnalisés par agents IA
Un nouveau benchmark évalue la capacité des agents à identifier des séquences d'actions concrètes à partir de sources hétérogènes, au-delà de la simple génération de rapports.
Anthropic lance Claude Fable 5 — modèle Mythos, performances élevées mais conditions controversées
Anthropic déploie Claude Fable 5, un modèle de classe Mythos (au moins 2× la taille d'Opus), accessible à tous, avec des benchmarks impressionnants mais des conditions de rétention de données qui font débat.
Premières impressions de Claude Fable 5
Simon Willison passe Claude Fable 5 au banc d'essai après 5h d'utilisation : un modèle imposant, lent et coûteux, mais difficile à prendre en défaut.
Ce que l'on ressent en travaillant avec Mythos (Claude 5 Fable)
Ethan Mollick a eu accès en avant-première à Claude 5 Fable et livre ses impressions : un bond qualitatif significatif sur l'ensemble des tâches testées.
FrontierCode : un nouveau benchmark pour évaluer la qualité de code des modèles frontier
Face aux limites de SWE-bench, l'équipe de Latent Space lance FrontierCode, un benchmark centré sur la qualité et la maintenabilité du code.
L'IA ralentit
Une analyse critique soutient que le rythme des avancées en IA s'essouffle, remettant en question le narratif dominant de progrès exponentiel.
FutureSim : rejouer des événements réels pour évaluer l'adaptation des agents IA
Un nouveau benchmark rejoue chronologiquement des actualités réelles pour tester la capacité des agents à prédire des événements au-delà de leur knowledge cutoff.
Thinking Machines lance TML-Interaction-Small, un MoE 276B pour la voix temps réel
Le modèle TML-Interaction-Small de Thinking Machines repousse l'état de l'art de la voix interactive en temps réel avec une architecture MoE encoder-free.
SocialReasoning-Bench : mesurer si les agents IA agissent dans l'intérêt de l'utilisateur
Microsoft Research publie un benchmark évaluant la capacité des agents IA à négocier efficacement pour leurs utilisateurs dans des contextes sociaux réalistes.
OpenSeeker-v2 : un agent de recherche frontier entraîné par SFT seul
Une équipe académique atteint l'état de l'art sur 4 benchmarks avec seulement 10 600 exemples et un simple fine-tuning supervisé, sans CPT ni RL.
Kimi K2.6 dépasse Claude, GPT-5.5 et Gemini dans un benchmark de programmation
Un modèle open-weights chinois de Moonshot AI s'impose face aux ténors américains sur un challenge de coding compétitif.
L'IA d'OpenAI diagnostique mieux que les médecins urgentistes selon une étude Harvard
Le modèle o1 d'OpenAI affiche un taux de diagnostic correct de 67 % aux urgences, contre 50-55 % pour les médecins de triage.
Agentic Harness Engineering : concevoir des systèmes d'agents robustes
Un papier arXiv propose un cadre méthodologique pour structurer et évaluer les pipelines d'agents IA, au-delà du simple prompting.
DeepSeek V4 : presque au niveau frontier, à une fraction du prix
DeepSeek publie deux modèles open-weights en preview — V4-Pro (1,6T paramètres) et V4-Flash — avec des tarifs très agressifs.
GPT-5.5 et le pivot superapp de OpenAI autour de Codex
OpenAI riposte à Claude Opus 4.7 avec GPT-5.5, nouveau modèle phare, et transforme Codex en pièce maîtresse d'une stratégie superapp.
GPT-5.5 : signe d'un futur où les LLM continuent de progresser rapidement
Ethan Mollick a eu accès anticipé à GPT-5.5 Pro et livre une analyse détaillée : capacités de codage, raisonnement et persistance d'un "jagged frontier".
GPT-5.5 accessible via l'API non officielle de Codex
GPT-5.5 est disponible dans OpenAI Codex et déployé progressivement aux abonnés ChatGPT payants, sans accès API officiel pour l'instant.
La "loterie du FID" : quantifier le hasard caché dans l'évaluation des modèles génératifs
Kyutai montre que la métrique FID, très utilisée pour juger les modèles génératifs, cache une variance importante liée au hasard de l'entraînement.
Pleias publie des annotations pour le benchmark HellaSwag
Un nouveau jeu de données d'annotations vient enrichir HellaSwag, benchmark classique d'évaluation du raisonnement de sens commun.
Pleias publie GoldenSwag, une collection de benchmarks sur Hugging Face
Le laboratoire français Pleias met en ligne GoldenSwag, une nouvelle collection destinée à l'évaluation des modèles de langage.
Pleias lance la collection GoldenSwag
Une nouvelle ressource dédiée à l'évaluation et à la validation de modèles.