Benchmarks
Fellow suit ce sujet depuis avril 2026 : 448 articles résumés en français, dont 111 jugés majeurs ou notables.
Toute l'actualité · 448 articles
Mistral AI présente Timestral, sa première famille de modèles de fondation pour séries temporelles
Le plus grand modèle de Timestral, avec 209M de paramètres, se classe premier sur GIFT-Eval, TIME et fev-bench et produit des prévisions probabilistes et multivariées.
Lab Notes : post-training de Nemotron 3.5 Super VL 120B-A12B pour l'usage d'ordinateur
H Company détaille sa recette de post-training (SFT, fusion de poids, RL) sur le modèle de vision de NVIDIA. Le checkpoint Holotron4-Super-Preview gagne 25,1 points sur OSWorld.
Co-évolution de l'action et de la prévision pour les agents de langage
Un nouvel entraînement par RL ajoute des cibles d'actions multi-étapes pour exploiter la supervision intermédiaire, sans surcoût à l'inférence, et améliore les performances sur cinq benchmarks d'agents.
PerSo : évaluer les facettes de l'intelligence sociale des LLM dans des scénarios de persuasion réels
Un nouveau benchmark issu de dialogues Reddit ChangeMyView mesure à la fois l'intelligence cognitive et comportementale des LLM face à la persuasion, avec comparaison à des humains.
J'ai supprimé 168 000 lignes de commentaires : mon agent IA ne l'a pas remarqué
Une expérience menée sur une base de code retirée de tous ses commentaires montre qu'un agent IA produit un code de qualité équivalente, avec ou sans commentaires, sur deux tâches testées.
Pourquoi les pélicans générés par les LLM se ressemblent-ils tous ?
Un billet pointe un effondrement de la diversité des LLM, illustré par le test du pélican à vélo en SVG, et renvoie à un benchmark de créativité en design UI.
Show HN : Jevcrawl, un crawler web pour agents IA sans LLM dans la boucle de crawl
Jevcrawl confie le choix des liens et des passages à un petit modèle de décision : le LLM de l'agent ne lit que les passages utiles, pour quelques centimes par crawl.
Show HN : Parsimony, un benchmark open source mesurant la quantité de code ajoutée par les modèles d'IA
Parsimony évalue le volume de code que les modèles d'IA ajoutent à une base de code, en comptant des unités syntaxiques plutôt que des lignes, à partir de patchs de benchmarks existants.
Préentraînement VLA sensible à la qualité : un benchmark et une étude empirique
Une étude compare pondération, filtrage et conditionnement selon la qualité des démonstrations pour le préentraînement VLA, et introduit AXIS-Bench, un benchmark de démonstrations simulées.
AesCode : génération de code esthétique avec des récompenses cross-modales découplées
AesCode génère des slides, posters et dashboards sous forme de code, guidé par une image de référence, et optimise par reinforcement learning des récompenses vérifiables et visuelles séparées.
Le dernier modèle de télédétection conçu par des humains ? L'observation de la Terre comme auto-amélioration récursive
Des chercheurs montrent qu'un agent de codage généraliste peut construire et améliorer seul des modèles d'observation de la Terre, à partir d'un simple harness et d'un verifier.
LIBERO-RIG : un benchmark de robustesse au matériel pour les modèles vision-langage-action
Un nouveau benchmark perturbe uniquement le matériel et la configuration du robot : le taux de succès moyen de neuf modèles VLA chute de 0,932 à 0,509 à sévérité maximale.
OmniCompass : un benchmark global pour l'ancrage et la compréhension vidéo omni-modaux
OmniCompass évalue 50 MLLMs sur le grounding temporel et spatial et le question answering, avec deux pistes : vision-langage et audio-visuelle, sur 820 vidéos annotées manuellement.
FrontierML : un benchmark exigeant de machine learning de bout en bout
FrontierML mesure si des agents savent transformer un budget en performance de modèle : 21 tâches longues, avec 10, 50 ou 200 dollars à dépenser en calcul et en données.
DishwasherBench : les modèles de pointe savent-ils remplir un lave-vaisselle ?
Composo publie en version 0.1.0 un benchmark de chargement de lave-vaisselle sur simulation physique d'une machine Bosch réelle, jouable dans le navigateur et par des modèles via MCP.
L'IA peut-elle déjà automatiser la R&D en IA ?
Epoch AI publie InnovationEval, une évaluation visant à mesurer dans quelle mesure les modèles actuels sont capables d'automatiser des tâches de recherche et développement en intelligence artificielle.
Les modèles de langage peuvent-ils jouer au jeu de Wikipédia ?
Des chercheurs testent embeddings de phrases et LLMs sur le Wikipedia Game, tâche de navigation par liens, dans cinq langues et cinq jeux de données de littérature académique.
Quand les VLMs détruisent ce qu'ils savent : les représentations spatiales passent sous les a priori lexicaux
Une étude introduit la métrique EICS et le benchmark CASP-VL : les VLMs encodent les relations spatiales bien moins fidèlement que l'information lexicale, malgré de bons scores sur les benchmarks compositionnels.
RATED : récupération d'outils pour agents IA tenant compte de la fiabilité via la dynamique d'exécution
Un framework combine matching sémantique et contextual bandit pour écarter les outils défaillants : le taux de sélection fautive passe de 86,2 % à 2,9 % lors de pannes d'API sévères.
J'ai donné 100 $ de budget à quatre agents de code pour construire un éditeur PDF
Une expérience compare quatre agents de code autonomes chargés de développer un éditeur PDF avec un budget fixe, et met en évidence les limites persistantes de ces outils.
Estimation et validité des horizons temporels de l'IA : un regard statistique sur le graphique METR
Des chercheurs recalculent les horizons temporels à 50 % de METR avec des splines et la théorie de réponse à l'item, et montrent que la relation entre temps humain et difficulté pour l'IA n'est pas linéaire.
BrickBench : évaluer la conception d'assemblages LEGO par des agents
Un nouveau benchmark teste la capacité des agents à concevoir, à partir d'un texte, des sets LEGO réellement constructibles. Les meilleurs agents restent en deçà des designs humains.
FastBench : les VLM en streaming perçoivent-ils les flux réels à haute dynamique ?
Un nouveau benchmark de 306 questions révèle les limites des VLM en streaming face aux événements rapides : le meilleur modèle, Gemini-3.5-Flash, n'atteint que 50,7 %.
RoboRSI : auto-évolution stable, efficace et réutilisable des robots en environnements réels complexes
Un système d'auto-amélioration pour robots structure l'expérience par compétences hiérarchiques et valide chaque révision avant réutilisation, avec des gains sur LIBERO et RoboTwin.
Au-delà des a priori spatio-temporels : une approche généralisable pour la mise en correspondance dense
FreeMatching combine représentations génératives et sémantiques pour établir des correspondances denses préservant l'identité visuelle dans l'édition d'images et la génération guidée par référence.
WOVEN : intégrer la modélisation visuelle du monde dans les LLM multimodaux
Un nouveau jeu de données et benchmark de raisonnement sur les transitions visuelles révèle un déficit systématique des MLLM et améliore 22 benchmarks externes sur 26 après entraînement.
Les modèles d'IA de pointe surpassent les analystes humains sur la prédiction des résultats financiers
Une étude de Samaya AI montre que les LLM les plus avancés dépassent les analystes professionnels pour prédire les bénéfices des entreprises, avec des implications majeures pour la finance quantitative.
AI SRE Arena : un benchmark open source pour évaluer les agents IA sur Kubernetes
Un nouveau benchmark ouvert permet de mesurer et comparer les agents d'IA spécialisés dans la fiabilité des sites (SRE) sur des environnements Kubernetes réels.
Show HN : Jevman, un benchmark où des modèles d'IA décisionnels jouent à Pac-Man
Opper présente Jevman, un benchmark qui met des modèles d'IA aux commandes d'une partie de Pac-Man pour comparer leurs capacités de décision en temps réel.
SciExam for ENSO : un benchmark où des agents IA construisent des modèles climatiques
Des agents LLM doivent élaborer des modèles stochastiques de l'ENSO à partir de données réelles, sans réponse connue. Six systèmes sur douze dépassent le modèle publié de référence.
Stanford publie un manuel de science de la mesure de l'IA
Le AI Measurement Science Lab de Stanford met en ligne un textbook complet sur l'évaluation rigoureuse des systèmes d'IA, couvrant benchmarks, métriques et méthodologies scientifiques.
Show HN : un agent IA exécute dix tâches web par jour, toutes les transcriptions sont publiées
Un projet Show HN propose un agent autonome testé quotidiennement sur des tâches concrètes, avec publication intégrale des échanges pour vérifier ses performances réelles.
Bottling : les agents LLM peuvent-ils transformer leurs capacités en artefacts économiques et scalables ?
Un nouveau benchmark, BOTTLED, teste si des agents LLM peuvent convertir des compétences générales en solutions spécialisées à moindre coût.
Étude systématique des espaces d'identifiants sémantiques pour la recherche d'information générative
Des chercheurs décortiquent ce qui fait un bon DocID numérique dans les systèmes de recherche générative, via un cadre unifié et des métriques sans entraînement.
Une figure, tous les formats : réagencement éditable de schémas via pipeline agentique
Un système multi-agents adapte automatiquement les schémas techniques à n'importe quel format sans casser les connexions ni halluciner de contenu.
BiasFlow : surveillance géométrique et régularisation du backbone contre les biais spurious
Un nouvel outil diagnostique et une régularisation ciblée améliorent la robustesse des modèles face aux corrélations trompeuses entre attributs.
TasteVal : évaluer le flair scientifique des IA face à des experts humains
Un nouveau benchmark mesure la capacité des modèles à concevoir des expériences et interpréter des résultats, comparée à celle de chercheurs humains.
AINews : GPT-6.1 Sol et Sonnet 5.5 redéfinissent le rapport coût-performance
Récap hebdo AINews : OpenAI lance GPT-6.1 Sol à prix cassé face à Astra, pendant que Sonnet 5.5 d'Anthropic grimpe au classement Agent Arena.
4DCodeBench : évaluer des agents sur la reconstruction inverse de scènes dynamiques en 4D
Un nouveau benchmark teste la capacité des modèles à transformer des vidéos en programmes graphiques reproduisant des dynamiques physiques complexes.
RNADyn : un benchmark pour générer et comprendre la dynamique de l'ARN
Un nouveau benchmark et modèle unifiés pour modéliser les changements conformationnels de l'ARN, au-delà des structures statiques.
FrugalEvo : vers une évolution de programmes guidée par LLM, sous contrainte de coût
Un framework d'évolution de code combine un LLM puissant pour explorer les stratégies et un LLM moins cher pour les implémenter, en optimisant le gain par dollar dépensé.
Les modèles de décision comme Jev ne surpassent ni le LLM-as-a-judge ni les classifieurs traditionnels
Un benchmark compare les modèles de décision spécialisés aux approches classiques de modération et conclut à une absence d'avantage net.
DoGBench : le premier benchmark de génération de documentation utilisateur, aucun modèle ne dépasse 50 %
Un nouveau benchmark évalue la capacité des LLM à générer de la documentation technique destinée aux utilisateurs finaux — et les résultats sont décevants.
KaliBench : un benchmark détaillé pour l'usage d'outils de cybersécurité sur Kali Linux
Un nouveau benchmark évalue la capacité des LLM à traduire des requêtes en commandes CLI exécutables pour des outils de cybersécurité.
ScholarCatalyst : un benchmark pour retrouver les papiers qui inspirent de nouvelles recherches
Un nouveau benchmark révèle que même les agents IA les plus avancés peinent à retrouver les travaux antérieurs clés derrière une découverte scientifique.
Le primitif manquant : diagnostiquer et réparer le raisonnement mathématique des LLM
Une étude identifie la découverte de primitifs mathématiques comme principal goulot d'étranglement du raisonnement des LLM, et propose une méthode de correction par auto-distillation.
DMAD : la distillation adversariale accélère la génération visuelle en quelques étapes
Une nouvelle méthode remplace l'estimation de score par une classification adversariale, supprimant le modèle auxiliaire coûteux de la distillation par correspondance de distribution.
Gemini 4 Argon : Google DeepMind répond à Fable et Astra avec 1M tokens en sortie
Google DeepMind lance Gemini 4 Argon, SOTA sur 13 des 19 benchmarks crédibles, mais limité à un accès cybersécurité restreint.
ViTeX-Bench : un benchmark pour l'édition fidèle de texte dans les scènes vidéo
Un nouveau benchmark évalue la correction textuelle, la stabilité temporelle et la préservation de scène dans l'édition vidéo de texte incrusté.
Turbo Harness : optimisation de harness adaptée à chaque instance
Un nouveau framework personnalise le harness d'un agent pour chaque tâche, au lieu d'appliquer une configuration unique et globale.