Benchmarks
Fellow suit ce sujet depuis avril 2026 : 448 articles résumés en français, dont 111 jugés majeurs ou notables.
Toute l'actualité · 448 articles
SocietyBench : prévision de l'évolution contrefactuelle
Un benchmark évalue la capacité des LLM à anticiper l'évolution d'événements sociaux via des scénarios contrefactuels.
WorldCup Arena : évaluer les LLM frontière sur un tournoi en direct, sans fuite de données
Six LLM de pointe testés en temps réel sur les 104 matchs de la Coupe du monde 2026, avec des prédictions faites avant que le résultat n'existe.
PAST-Bench : un benchmark pour évaluer l'auto-amélioration récursive des agents IA personnels
Un nouveau banc d'essai teste si les agents IA s'améliorent vraiment en exploitant leur expérience accumulée entre sessions.
Agogic : des tokens musicaux calés sur le tempo pour la génération symbolique texte-vers-musique par LLM
Une étude montre que le choix de tokenisation musicale pèse plus sur la fidélité générée que la taille du modèle, jusqu'à 34 fois plus gros.
Les LLM peuvent-ils repérer des optimisations sémantiques que les compilateurs manquent ?
Un nouveau benchmark, SeGaBench, teste la capacité des modèles de langage à proposer des optimisations de code validées, là où l'analyse statique classique échoue.
Video-DeepResearch : vers une nouvelle génération d'agents multimodaux de recherche approfondie
Un agent open-source combine analyse vidéo image par image et exploration web, dépassant Claude 4.5 Sonnet et GPT-5 sur un benchmark VQA complexe.
Faut-il taper ou parler aux agents LLM ? Étude comparative des perturbations vocales et clavier
Une étude systématique montre que les erreurs de transcription vocale nuisent bien plus aux LLM que les fautes de frappe classiques.
Quand les benchmarks IA plafonnent : étude de la saturation
Une analyse systémique montre que les performances actuelles sur les standards de l'industrie atteignent leurs limites.
Pourquoi les LLM échouent aux prédictions tabulaires
Une étude démontre les limites structurelles des grands modèles de langage sur les données tabulaires.
Homebench : benchmark local pour LLM
Un outil pour mesurer vitesse, mémoire et qualité des modèles locaux.
LLMs Can't Jump : limites du raisonnement spatial
Une étude révèle que les LLM peinent à résoudre des problèmes de géométrie et de raisonnement spatial.
onepot-Bench 0 : un benchmark de chimie in silico sensible aux contraintes de laboratoire
Un nouveau benchmark propriétaire évalue les LLM sur des tâches de chimie synthétique liées au travail réel en laboratoire humide.
Un benchmark évalue les Sheaf Neural Networks sur des tâches inductives
Première étude systématique de 1 890 configurations pour comprendre si les SNN généralisent au-delà du cadre transductif classique.
MedPRESS : un benchmark multi-tours pour mesurer la complaisance médicale des LLM sous pression
600 dialogues médicaux en cinq tours révèlent que de nombreux LLM cèdent à des conseils dangereux sous la pression insistante des patients.
Un benchmark maison : générer un SVG de grenouille avec une mâchoire de Habsbourg
Un développeur teste les modèles d'IA sur une tâche insolite et révélatrice : dessiner en SVG une grenouille au prognathisme prononcé.
Faire tourner Kimi K3 sur MI355X : un meilleur rapport performance-prix que sur B300
Un benchmark montre que les GPU MI355X d'AMD surpassent les B300 de Nvidia en performance par dollar pour l'inférence du modèle Kimi K3.
Show HN : Wage Against the Machine – un indice de coût salarial pour les tâches IA
Un projet indépendant compare le coût d'exécution d'une tâche par un LLM à son équivalent en salaire humain, sur le modèle du Big Mac Index.
Évaluation critique des résultats d'IA en mathématiques annoncés récemment
Un fil de discussion questionne la fiabilité et la portée réelle des performances mathématiques attribuées à des modèles d'IA récents.
Orca-Bench : évalue la préparation des agents LLM
Un nouveau benchmark mesure la capacité des modèles d'IA à gérer des tâches opérationnelles d'oncall.
ExtractBench : benchmark pour l'extraction de documents d'entreprise
Un nouveau dataset évalue la précision et l'exhaustivité des agents IA pour l'extraction guidée par schéma.
AgentHPOBench : un benchmark pour évaluer les agents LLM en tant qu'optimiseurs séquentiels d'hyperparamètres
Un nouveau benchmark teste la capacité des agents LLM à mener des expériences ML itératives et à ajuster les hyperparamètres à partir des résultats observés.
FriendBench : évaluer l'inférence de familiarité entre deux personnes chez l'humain et les LLM multimodaux
Un nouveau benchmark teste si les modèles multimodaux peuvent deviner si deux personnes se connaissent déjà à partir d'un court échange filmé.
SWE-rebench : 13 modèles et 4 agents évalués sur des tâches réelles en Go, Java, Python, Rust et TS
Un benchmark compare modèles et frameworks d'agents sur des tâches d'ingénierie logicielle multi-langages, avec des résultats mis à jour régulièrement.
ReToken : un unique token pour améliorer la recherche visuelle dans les modèles vision-langage
Une méthode légère à un seul embedding entraîné améliore la récupération de tokens visuels pertinents, avec des gains mesurables sur plusieurs benchmarks image et vidéo.
OSReward : évaluation standardisée des modèles de récompense
Un benchmark évalue la fiabilité des VLM comme juges d'agents informatiques.
Change2Task : transformer l'historique de dépôts en tâches exécutables pour agents de code
Un système qui convertit les pull requests fusionnées en tâches vérifiées pour entraîner et évaluer les agents de codage.
PAIChecker : détecter les désalignements PR-Issue dans les benchmarks type SWE-Bench
13,6% des instances de SWE-bench Verified présentent un décalage entre pull request et issue, faussant l'évaluation des LLM sur la résolution de bugs.
Échantillonner plutôt que réfléchir : le simple sampling répété bat Self-Refine et Reflexion à coût égal
Une étude contrôlée sur 36 comparaisons montre qu'aucune méthode d'auto-critique ne surpasse le sampling répété une fois le coût en tokens égalisé.
Repenser le scaling à l'inférence pour les agents d'usage informatique en local : échecs et arbitrages de calcul
Une étude systématique montre que le calcul supplémentaire à l'inférence n'améliore pas toujours les agents CUA locaux, mais change surtout leur façon d'échouer.
Echoverse : des environnements profonds et évolutifs pour entraîner les agents informatiques
Microsoft Research crée douze mondes d'entraînement à haute fidélité pour agents d'usage informatique, doublant les performances d'un modèle 9B.
APEX-Accounting : un benchmark pour évaluer les modèles d'IA sur des tâches comptables réelles
Mercor et Ramp lancent un benchmark fermé de 160 tâches comptables. Aucun modèle ne dépasse 56% de réussite moyenne.
Apprentissage inverse des densités risque-neutre latentes à partir de cotations d'options irrégulières
Une étude compare mélanges lognormaux, DeepONet et transformers sur la reconstruction de densités risque-neutre, sans vainqueur universel.
Pangram 4 : Rapport technique du nouveau modèle de détection de texte IA
Pangram Labs présente Pangram 4, un classifieur de texte IA offrant une précision record et une robustesse accrue aux attaques adverses.
Quand les propositions par diffusion apprise aident-elles la résolution de contraintes ? Étude contrôlée sur des systèmes algébriques continus
Une étude compare une architecture de diffusion neuronale (MARC) à un simple redémarrage aléatoire pour résoudre des systèmes de contraintes algébriques.
SpecFirst : l'élucidation des spécifications pour l'agent
Une méthode en deux étapes améliore la génération de code via une phase d'exploration dédiée avant l'implémentation.
OmegaUse-OfficeVal : benchmark d'agents LLM pour tâches bureautiques
Un nouveau benchmark évalue les agents LLM sur des workflows bureautiques longs avec des indicateurs économiques.
MindForge : entraîner de petits LLM à l'ingénierie logicielle complète via la synthèse de programmes sans code source
Un pipeline automatisé génère des environnements d'entraînement pour apprendre à des modèles compacts à coder des programmes entiers, de zéro à la maintenance.
Prédiction conforme sensible au coût et abstention supervisée pour décisions à fort enjeu sur données déséquilibrées
Un benchmark massif révèle les limites de la prédiction conforme classique sur les classes minoritaires et propose une méthode corrective plus fiable.
GPT-5.6 face à Claude Fable 5 : quel modèle excelle en IA physique ?
JuliaHub compare deux modèles frontière sur des tâches d'IA physique, un domaine encore peu couvert par les benchmarks classiques.
Self-hosting Kimi K3 : +20% de coût matériel, +20% de résolution
Un benchmark interne montre que le self-hosting du modèle Kimi K3 améliore la résolution de tâches de 20% pour un surcoût matériel équivalent.
OpenAI : deux réglages API suffisent à tripler les scores sur ARC-AGI-3
En activant la rétention du raisonnement et la compaction, GPT-5.6 voit ses performances et son efficacité fortement progresser sur ce benchmark.
Desktop-Delta Bench : évaluer la compréhension des GUI par les IA
Un nouveau benchmark teste la capacité des modèles d'IA à comprendre les transitions d'interface graphique sur desktop.
Évaluation empirique des performances hors distribution des modèles fondation tabulaires
Neuf modèles fondation pour données tabulaires testés sur des scénarios de shift de distribution : tous se dégradent, quelle que soit leur architecture.
Un fine-tuning RL à 500$ sur un modèle 9B surpasse les modèles frontier
Un fine-tuning par renforcement peu coûteux permet à un petit modèle open-weights de dépasser les SOTA sur une tâche de revue de catalogue.
Vitesses d'inférence LLM mesurées sur Apple Silicon, données brutes publiées
Un benchmark indépendant compile des mesures de performance d'inférence LLM sur puces Apple Silicon, données publiées sous licence CC BY 4.0.
ClinFusion : un MLLM centré vision pour la compréhension médicale globale
Un nouveau modèle multimodal médical unifie imagerie 2D/3D et surpasse GPT-5.2 et Gemini-3-Flash sur la plupart des benchmarks testés.
ERUnderstand : un benchmark pour évaluer les VLM sur les diagrammes entité-relation
Un nouveau benchmark de 2 960 diagrammes ER révèle les limites des modèles vision-langage sur les schémas conceptuels complexes.
Au-delà de l'échelle et de la génération : comprendre l'entity matching avec des modèles de langage
Une étude factorielle contrôlée de 1 215 runs isole l'effet de l'architecture, de la variante et de la taille des modèles sur l'entity matching.
Éviction comme estimation : la mémoire à décalage fixe pour la gestion de la mémoire en test
Une nouvelle façon de penser la gestion de mémoire des LLM révèle les limites des méthodes existantes sur des benchmarks tiers indépendants.
Un RAG agentique hybride et correctif pour l'exploitation d'une installation scientifique
APS-RAG combine recherche dense, sparse et graphe de connaissances pour interroger des décennies de savoir opérationnel d'un accélérateur de particules.