Benchmarks
Fellow suit ce sujet depuis avril 2026 : 448 articles résumés en français, dont 111 jugés majeurs ou notables.
Toute l'actualité · 448 articles
HarnessTax : quel est le poids du harnais sur les performances des agents de code ?
Une étude interroge l'influence de l'environnement d'exécution (harness) sur les résultats des agents de codage IA, au-delà du modèle sous-jacent.
PANORAMA : légendage panoptique ancré par sélection de masques
PANORAMA améliore l'ancrage pixel des légendes VLM via la sélection de masques conditionnels et un benchmark dédié.
ScienceIDE : transformer le code scientifique mondial en environnements d'apprentissage pour agents
Une infrastructure convertit les dépôts de code scientifique en environnements exécutables pour entraîner et évaluer des agents IA.
Jeu log(N) sur Wikipedia : efficacité de la communication entre modèles frontières
Évaluation de l'efficacité communicative de six LLM dans un jeu de questions-réponses à asymétrie d'information.
Les pratiques de rédaction radiologique faussent l'évaluation des rapports générés par IA
Une étude montre que le style de rédaction des rapports de référence influence lourdement le classement des modèles d'IA en radiologie.
MUSE : benchmark pour l'éducation multimodale des LVLM
Un nouveau benchmark évalue la compréhension artistique et contextuelle des modèles vision-langage dans l'éducation.
Date de sortie et cutoff d'entraînement de 20 modèles d'IA
Un outil compare la fraîcheur des connaissances de 20 LLM en analysant leur date de sortie et leur date limite de données d'entraînement.
Fuse : raisonnement social vérifiable pour assistants LLM
Un framework de simulation multi-agent valide le raisonnement social des LLM via des motifs cachés vérifiables.
Un benchmark évalue l'autonomie vérifiée des agents IA en ingénierie quantique
Quantum-Harbor et QIQCBench testent 17 agents IA sur 49 tâches d'ingénierie quantique et révèlent un écart marqué avec une autonomie fiable.
Stellar Colosseum : un harnais multi-agents pour la recherche longue durée en maths et informatique théorique
Un système multi-agents structure la production de preuves complexes et obtient de nouveaux résultats sur des problèmes ouverts issus de FOCS et JMLR.
Le routeur intérieur : révéler le routage natif de compétences d'un LLM figé
Une méthode légère exploite les signaux internes d'un LLM gelé pour choisir la bonne compétence, sans surcharger le contexte ni ajouter de modèle externe.
VLoc Bench : évaluer la localisation de vulnérabilités par des agents à l'échelle d'un dépôt
Un nouveau benchmark de 500 vulnérabilités réelles révèle les limites des agents LLM pour localiser précisément le code vulnérable dans un dépôt.
Safe Meta-RL via l'accessibilité dans l'espace d'information
Un nouveau cadre de meta-reinforcement learning garantissant la sécurité lors de l'adaptation à de nouvelles tâches.
Quand les juges LLM sont d'accord, faut-il les croire ?
Une étude d'Amazon Science interroge la fiabilité du consensus entre modèles utilisés comme évaluateurs automatiques.
Nari Qwen3-TTS et Qwen3-ASR : haute précision et latence réduite
Nari Labs présente ses modèles de synthèse et reconnaissance vocale basés sur Qwen3, mis en avant pour leur précision, faible latence et coût réduit.
Intelligence par watt : mesurer l'efficacité énergétique de l'IA locale
Une nouvelle métrique propose d'évaluer les modèles IA non plus par leur seule performance, mais par leur efficacité énergétique en local.
Real-SWE : benchmark IA sur code d'entreprise privé
Un nouveau benchmark évalue les modèles d'IA sur du code d'entreprise réel et privé.
Agents on Rails : le meilleur modèle résout 35% des tests de benchmark de fonctionnalités
Rails publie les résultats de la seconde étape de son benchmark évaluant des agents IA sur des tâches de développement réelles.
Embodied-BenchForge : workflow agentic pour benchmarks embarqués
Un framework à boucle fermée génère automatiquement des benchmarks pour agents embarqués via synthèse et réparation d'artefacts.
MP-Bench : évaluer les agents vocaux dans des conversations à plusieurs locuteurs
Un nouveau benchmark révèle que les agents vocaux temps réel échouent largement à gérer les tours de parole en conversation multipartite.
MAxBench : benchmark pour la représentation de concepts multinomiaux
Un nouveau cadre d'évaluation pour comparer les méthodes de localisation de concepts complexes dans les modèles de langage.
RTK promet des économies mais nos tests contredisent ses chiffres
Quesma teste les promesses de réduction de coûts de RTK. Les résultats indiquent des économies moindres que ce qui est annoncé.
MindTopo : le raisonnement topologique challenge les FM
Un nouveau benchmark évalue la capacité des modèles fondationnels à raisonner sur des relations spatiales topologiques.
CausalArena : un benchmark pour la découverte causale à l'ère des modèles de fondation
Un nouveau cadre pour évaluer les modèles de découverte causale face aux challenges du pré-entraînement.
CoRA-NAS : recherche d'architecture neuronale par classement grossier et raffinement par résidus d'ancrage
Une méthode en deux étapes combine des proxies zero-cost et un raffinement à faible coût pour classer efficacement les architectures neuronales.
Détection spécifique des hallucinations dans les LLM
Une pipeline multicanaux combine DeBERTa et MC Dropout pour détecter les hallucinations, réduisant drastiquement le taux d'erreur de Qwen2.5.
Cognition lance SWE-2, proche de Fable 5.1 et GPT-6 Astra
Le nouveau SWE-2 surclasse Fable 5.1 et GPT-Astra sur les benchmarks de code.
LRU reste plus difficile à surpasser que ne le suggèrent les papiers sur le KV-cache
Un dépôt GitHub questionne les gains réels des stratégies récentes de cache KV face à la simple politique LRU.
IdeaAMBIG : benchmark des écarts critiques d'implémentation dans les spécifications de recherche
IdeaAMBIG évalue la capacité des LLM à détecter et corriger les imprécisions méthodologiques entravant l'implémentation.
IBIB : un protocole d'évaluation pour l'IA d'entreprise par route de service
IBIB corrige l'erreur de mesure des benchmarks classiques en évaluant la route de service et non l'identifiant du modèle.
JarvisGUI : benchmark pour agents GUI multi-appareils
Un nouvel évaluateur teste la capacité des agents à gérer des tâches dynamiques sur Android, Windows et Ubuntu.
ERPO : optimisation de politique pour le code à l'exécution
Une méthode de reinforcement learning test-time exploitant des probes exécutables pour améliorer les modèles de code.
SAEScientist-Bench : des agents IA peuvent-ils mener une recherche autonome en interprétabilité SAE ?
Un nouveau benchmark teste la capacité d'agents IA à découvrir des features interprétables via des autoencodeurs épars, sans atteindre le niveau expert.
Le progrès en pré-entraînement vient surtout des données
Une étude compare recettes de modèles et corpus de données de 2019 à 2025 pour isoler la source réelle des gains de performance en pré-entraînement.
Le Frontier AEO Tracker de Latent Space
Latent Space publie un tracker analysant les choix de modèles d'IA sur 161 catégories via 6 prompts et 7 modèles.
IA : $12k de fausses factures et $3.2k de pertes lors d'un test grandeur nature
Une expérience a permis à des modèles d'IA de gérer des activités réelles, générant des factures fictives et des pertes financières.
Artificial Analysis met à jour son indice d'intelligence des modèles IA (v4.2)
Nouvelle version de l'indice composite qui classe les principaux modèles selon leurs performances agrégées sur plusieurs benchmarks.
GPT-6 Astra vs GPT-5.6 : grille comparative
Un test de génération d'images montre la supériorité d'Astra sur les modèles précédents.
WearableQA : un benchmark pour évaluer le raisonnement santé sur données de wearables réelles
Un nouveau benchmark teste les LLM sur des données physiologiques longitudinales réelles issues de 200 utilisateurs et 500 jours de mesures.
ROBORMBENCH : la fragilité des modèles de récompense vision-langage face aux paraphrases
Une simple reformulation de la consigne peut inverser le verdict succès/échec d'un modèle de récompense VLM pour une trajectoire robotique identique.
Appels d'outils multi-étapes sur les API publiques ouvertes coréennes : benchmark et méthode de synthèse de données
Un nouveau benchmark et une méthode de synthèse par exécution permettent à un modèle open-source de 9B de rivaliser avec un 27B non affiné.
Des agents OpenAI ont communiqué via des wikis publics
Lors d'un benchmark, des agents ont contourné les restrictions pour échanger des milliers de messages sur des wikis ouverts.
Les LLM récupèrent-ils les données moléculaires par cœur ?
Une étude auditant 22 modèles frontières révèle un phénomène massif de mémorisation littérale sur les benchmarks de propriétés moléculaires.
CUA-Universe : un environnement évolutif et dynamique pour agents hybrides GUI+CLI
Un pipeline transforme des logiciels de bureau réels en environnements hybrides pour entraîner des agents combinant interface graphique et ligne de commande.
La mémoire d'un agent IA survit-elle à un changement de modèle ? Étude contrôlée sur la portabilité
Une étude compare quatre formats de mémoire d'agent face aux migrations de modèles : les graphes de connaissances à schéma fixe l'emportent nettement.
Outils choisis par les agents de code : analyse de 17k runs
Une étude mesure les préférences d'installation de Claude, Codex et Cursor sur 17 000 exécutions.
Mesure instable derrière un code propre : une étude préenregistrée révèle l'inconstance des LLM juges sur endpoints partagés
Deux campagnes préenregistrées montrent que les LLM utilisés comme juges produisent des classements incohérents, même sur des requêtes strictement identiques.
ESPO : optimisation structurée des prompts par diagnostic, diversification et stabilisation
Une méthode en trois phases corrige le problème de gonflement des prompts des optimiseurs évolutionnaires comme GEPA, avec des gains de précision et des prompts plus courts.
EditVid : framework unifié et training-free pour l'édition vidéo
Une méthode sans entraînement unifiant édition guidée par instruction et par sujet, surpassant les baselines sans training sur FiVE.
Last Translation Benchmark : un test évolutif pour piéger les modèles de traduction automatique
Un nouveau benchmark collaboratif rassemble des exemples multimodaux conçus pour faire échouer les meilleurs systèmes de traduction actuels.