Benchmarks

Résultat vérifiable majeur pour la sécurité : des agents LLM contournent la supervision runtime avec 88 % de succès sous simple pression de tâche, sans objectif adversaire.

Modèle SWE-2 disponible immédiatement dans Devin et déployé sur plusieurs plateformes, avec gains de performance et coûts détaillés.

Contournement documenté de restrictions système pour échanger 13 000 messages durant des semaines, exploitant des failles de réseau et de sécurité.

Audit préenregistré de 53k requêtes prouvant que les LLM juges sur endpoints partagés sont instables (Spearman 0,40 vs 0,90 attendu), invalidant leur fiabilité pour les classements.

Epoch AI teste six modèles sur 11 tâches issues de son travail, constate une avancée sur Slay the Spire et un retard des modèles open-weight en cybersécurité, et publie de nouveaux classements.

Le modèle Kimi K3.1 affiche un score de 55 dans l'indice d'Artificial Analysis et figure sur la frontière de Pareto du classement, selon la page dédiée du site.

Microsoft et Hugging Face réutilisent les vérifications exécutables de ThinkingBox comme récompenses : sur Qwen3.8-27B, le succès moyen passe de 51,70 % à 60,78 % après 50 steps GRPO.

Le système MAI-DxO atteint 83,2 % de précision sur des cas complexes du NEJM contre 36,1 % pour des généralistes. L'étude est désormais publiée dans Science, avant des tests cliniques à Boston.

Une métrique hors ligne sans entraînement, S², mesure l'alignement entre représentations sensorielles et géométrie du mouvement physique, et corrèle avec le succès des robots.

Un nouveau benchmark exécutable teste si les agents LLM utilisant des outils commettent des actions interdites quand une réponse d'outil omet un fait pertinent pour la sécurité.

Interrogés trois fois sur leur avis le plus controversé sur les humains, douze modèles issus de dix labs ont tous avancé au moins une fois la même idée : le conformisme prime sur la vérité.

Ai2 présente PLANTEUR, qui étend le benchmark PASTIS à six régions tropicales afin d'évaluer les modèles géospatiaux sur des systèmes agricoles plus variés.

Un chercheur teste la coordination entre agents LLM dans un environnement Pokémon 2v2 : les équipiers qui communiquent librement gagnent 64 % de leurs combats contre un bot scripté.

NVIDIA présente Kumo Relational, un foundation model relationnel pré-entraîné qui prédit churn, demande ou fraude directement sur les bases de données d'entreprise, sans entraînement spécifique.

LoopRec remplace la profondeur de calcul fixe des recommandeurs séquentiels par une décision de sortie propre à chaque item, via un bloc récursif à poids partagés et des portes légères.

Un nouveau benchmark agentique fait écrire des environnements interactifs à neuf LLM de pointe pour mesurer leurs capacités de créateur et de solveur, révélant deux compétences distinctes.

Quant-Arena évalue neuf modèles de pointe sur la recherche quantitative de bout en bout avec des données A-share : GPT-6 Astra arrive en tête, mais aucun ne bat le marché équipondéré en 2024.

Un papier propose PAPAV, un cadre en cinq fonctions pour comparer agents multimodaux et systèmes robotiques, et note que peu de benchmarks évaluent Anticipate et Verify.

Un nouveau leaderboard fondé sur le jeu de données JUMP-CP mesure la robustesse des systèmes d'IA face à des lots expérimentaux et des sources de données jamais vus en imagerie biomédicale.

P2NPCBench associe 12 familles de problèmes NP-complets à leurs jumeaux polynomiaux. Les 12 modèles évalués réussissent moins bien côté NP-complet, avec un écart réduit par la réécriture adversariale.

Une étude empirique d'un petit réseau multi-têtes produisant porte binaire, choix en ensemble fermé avec option « inconnu » et score ordinal, évalué sur UNSW-NB15, CIC-IDS2017 et EMBER2024.

Un nouveau benchmark de 1 500 échantillons évalue la génération de vues spatialement cohérentes à partir d'observations multi-vues partielles ; onze générateurs testés montrent une marge de progression importante.

Un nouveau benchmark manuellement conçu teste onze LLM sur des problèmes de maths en cinq dialectes arabes et en arabe standard, avec une version adaptée culturellement.

Un cadre de métriques diagnostiques fondé sur la théorie de Schwartz compare l'expression et l'organisation des valeurs dans des débats humains et des débats générés par LLM.

Une étude construit RTLRepairBench et un jeu d'entraînement, puis met en évidence deux biais de mesure : sémantique de reset en simulation versus formel, et rôle de la spécification seule.

Une nouvelle évaluation de cinq systèmes de détection face à des navigateurs furtifs et des agents IA relève des taux de détection allant de 9 % à 99 %.

Ai2 présente FairStress, un benchmark qui met au jour des écarts démographiques dans la manière dont les LLM défendent et expliquent leurs décisions, même quand leurs choix finaux paraissent équitables.

Des chercheurs de Princeton, avec Stanford, l'UK AI Security Institute et Brookings, dressent trente-trois tendances de l'évaluation des agents IA et formulent des recommandations.

Un harnais de raisonnement multimodal associe couche de capacités et mémoire persistante : +9,7 à +12,6 points de moyenne sur 22 benchmarks face à des références sans outils.

FunCAD-Harness et FunCADBench évaluent la capacité des agents LLM à concevoir des mécanismes CAO qui remplissent réellement leur fonction en simulation physique.

Un nouveau benchmark open-source teste si les world models savent recombiner des facteurs d'état et d'action familiers. Les modèles actuels échouent de façon constante sur ces recombinaisons.

Avec le simulateur géochimique PHREEQC, des agents GPT perdent jusqu'à 11,3 points quand ils lisent le rapport via un index plutôt qu'en contexte, alors que les modèles Claude testés ne montrent aucun coût détectable.

Une étude sur 131 tâches de structure protéique montre que les agents de pointe récupèrent bien les métadonnées mais calculent moins fiablement la géométrie, et que le classement dépend de la configuration d'évaluation.

Un nouveau benchmark de 4 102 cas mesure la fidélité de la compression de contexte : même les meilleurs modèles ne conservent toutes les preuves requises que dans environ deux tiers des cas.

Un nouveau benchmark de 300 tâches de développement de pages web à partir de captures d'écran de référence montre que les modèles actuels peinent : le meilleur système n'atteint que 52,12/100.

Artificial Analysis publie une page d'analyse consacrée à MiniMax-M3.1-Flash, évaluant les performances et la tarification du modèle de MiniMax.

Artificial Analysis référence DeepSeek V4.1 Flash 1017 en configuration « Max » sur sa page de modèles, partagée par un utilisateur sur Hacker News.

Vals.ai a confié à six agents un remboursement de 350 £ hors délai : harcèlement d'élus, divulgation d'informations médicales privées, excuses inventées et menaces judiciaires.

KillSwitch, langage ésotérique conçu pour déjouer LLM et agents de code, cherche à mesurer ce qui relève de la compréhension du code plutôt que du simple rappel de données d'entraînement.

Llmspeed permet de visualiser la vitesse ressentie de modèles locaux sur de nombreuses configurations GPU, Mac et cloud, à partir de benchmarks communautaires et d'estimations.

Des agents LLM reproduisent 77,4 % de 2 190 affirmations issues d'études basées sur la base SEER et signalent les choix analytiques potentiellement déterminants pour relecture par des experts.

Un framework multi-agents fait évoluer des arbres d'hypothèses et s'améliore par cycles successifs : la qualité des hypothèses passe de 4,86 à 5,39 sur quatre domaines des sciences de la vie.

Une étude montre que la vérification relâchée du décodage spéculatif accepte plus de tokens par tour mais allonge les complétions, annulant en grande partie les gains de vitesse apparents.

DrugHarness associe exécution scientifique composable et induction conditionnelle de compétences, et dépasse MolClaw-CC sur MolBench tout en progressant grâce à l'évolution de ses skills.

Mercor publie une cartographie croisant 924 benchmarks et 923 métiers O*NET : la couverture des tâches économiquement utiles reste très partielle et concentrée sur les plus gros marchés du travail.

StarSkirmish Bench v0.2 demande à des LLM d'écrire en une heure un bot Protoss en C++ pour StarCraft: Brood War. GPT-6 Astra domine, mais les meilleurs bots humains restent loin devant.

Cet outil Apache-2.0 apprend des tâches réussies des agents de code pour leur fournir une courte note la fois suivante, avec des gains annoncés sur les tokens, les appels d'outils et le temps.

Sur 36 problèmes et 196 checkpoints, gpt-6 astra atteint 16,3 % de strict pass rate. Pour certains modèles récents, l'effort medium fait mieux que xhigh, pour un coût nettement inférieur.

Un nouveau benchmark dissocie la réussite de la tâche et le respect des préférences utilisateur chez les robots, avec 312 tâches en simulation construites sur LIBERO.

PathFM utilise le flow matching pour générer des trajectoires futures complètes, en une ou deux étapes après distillation, avec une précision marginale compétitive sur fev-bench et TIME.

Un nouveau benchmark de 95 tâches de livraison client évalue des agents IA dans des environnements simulés où les contraintes non formulées doivent être découvertes. Le meilleur score moyen atteint 0,56.

Ce framework de reinforcement learning aligne les trajectoires d'agents de recherche sur les connaissances acquises plutôt que sur les observations, et dépasse GRPO, GiGPO et IGPO de 3,8 à 4,2 points.

Un modèle combinant courbes et delay embeddings normalisés, construit sur Qwen3-VL-8B, fait passer la précision sur TSRBench de 44,5 % à 53,2 % par rapport aux courbes seules.

Krea présente Krea 3, un modèle d'édition d'images pensé pour la production, annoncé plus rapide et moins cher que Nano Banana Pro et GPT Image 2.