Benchmarks
Fellow suit ce sujet depuis avril 2026 : 448 articles résumés en français, dont 111 jugés majeurs ou notables.
Toute l'actualité · 448 articles
Six capacités d'un « harness » d'agent pour améliorer les performances des modèles
NVIDIA détaille comment l'architecture entourant un modèle d'IA peut faire varier les résultats de benchmark de plusieurs points, indépendamment du modèle choisi.
Processus de test agentiques, benchmarks LLM et autres notes sur le codage agentique
Dan Luu passe au crible les pratiques de test des agents de codage IA et interroge la fiabilité des benchmarks LLM actuels.
Claude Opus 5 surpasse Fable à prix réduit
Anthropic lance Claude Opus 5, performant comme Fable mais deux fois moins cher, selon les évaluations indépendantes.
ARC-AGI : nouveau classement publié
Le classement officiel du benchmark ARC-AGI est désormais accessible pour mesurer le raisonnement.
Benchmark : Qwen 3.6 35B MoE sur RTX 3090
Tests de performance du modèle Qwen 3.6 35B MoE (3B actifs) exécuté localement sur carte graphique NVIDIA RTX 3090.
Claude Opus 5 prend la première place du classement Artificial Analysis Intelligence
Le modèle d'Anthropic devance ses concurrents sur l'agrégateur de benchmarks Artificial Analysis, référence pour comparer les LLM.
La "taxe de régression" : pourquoi les compétences aident et nuisent aux agents LLM
Une étude sur près de 6 000 runs montre que doter un agent LLM de compétences procédurales peut aussi le faire régresser sur des tâches déjà réussies.
Quantum Spectral Models : encodage de données conditionné par les fréquences d'entrée
De nouveaux modèles quantiques exploitent la structure spectrale des matrices d'entrée pour améliorer l'apprentissage automatique quantique.
MineValiCoder : génération de code fiable via extraction de tests et validation mutuelle par graphe biparti
Un nouveau framework TDD pour LLM filtre les tests défectueux et croise code et tests pour sélectionner les meilleures solutions.
TRACE-ROUTER : routage adaptatif pour les workflows d'agentic AI
Un framework de routage au niveau de la tâche qui aligne les décisions sur les résultats finaux pour optimiser les coûts et la qualité.
LKValues : aligner les LLM sur les valeurs sociétales sri-lankaises
Un nouveau benchmark et corpus d'instruction en cinghalais-anglais pour corriger le biais occidental de l'alignement des valeurs des LLM.
Un MUD peut-il évaluer les LLM ? Une preuve de concept à 99 dollars
Un développeur teste l'idée d'utiliser un jeu textuel multi-utilisateurs (MUD) comme benchmark pour évaluer les capacités des LLM.
Kimi K3 rivalise avec Fable, et la combinaison des deux atteint l'état de l'art
Fireworks AI publie une évaluation montrant que Kimi K3 se hisse au niveau de Fable, avec des résultats combinés inédits.
Dessiner la Joconde avec GPT-5.6, Claude, Gemini et Grok : comparatif
Un test informel confronte plusieurs LLM sur un exercice de génération d'image façon crayons de couleur, la Joconde comme sujet.
GAMUT : évaluer la complétude factuelle par méta-rubriques
Un nouveau cadre et benchmark pour mesurer la complétude factuelle des générations longues via des méta-rubriques à deux niveaux.
Détection de points d'arrêt à partir de données de trajectoire bruitées : un article expérimental
Un nouveau benchmark évalue neuf algorithmes de détection de staypoints et révèle leur fragilité face au bruit réel.
Un développeur crée un site qui indique quel modèle d'IA tourne sur votre ordinateur portable
Un outil en ligne permet d'évaluer, selon les specs de sa machine, quels modèles d'IA locaux sont exécutables sans souci.
Les multiples facettes de la similarité visuelle : une métrique perceptuelle d'image guidée par texte
Un nouveau benchmark et une métrique VLM permettent de conditionner la similarité visuelle selon un aspect précis (forme, couleur, etc.).
Ce n'est pas ce que vous dites, c'est comment : évaluer la réponse des LLM aux expressions de croyance
Une étude typologique montre comment la formulation linguistique d'une croyance influence la capacité des LLM à suivre le contexte ou leurs connaissances préalables.
VEHBench : un benchmark diagnostique par étapes pour la conception de récupérateurs d'énergie vibratoire assistée par LLM
763 tâches ancrées dans la littérature évaluent les LLM sur quatre rôles de conception d'ingénierie physique, révélant des performances très inégales selon les étapes.
LoRA Speedrun : un classement public en temps réel pour les techniques de fine-tuning
Un leaderboard open source mesure la rapidité des différentes méthodes de fine-tuning LoRA sur des tâches standardisées.
Fable 5 face à GPT-5.6 Sol sur un problème NP-difficile : la commande /goal fait-elle la différence ?
Un billet compare deux modèles sur un problème d'optimisation NP-difficile pour évaluer l'apport d'une fonctionnalité de guidage par objectif.
ActiveVision : un benchmark révèle l'échec des MLLMs sur l'observation visuelle active
Les modèles multimodaux les plus avancés s'effondrent face à des tâches nécessitant une perception visuelle itérative, loin derrière les humains.
CRAFT : regrouper les rubriques d'évaluation pour diagnostiquer les faiblesses des LLM et cibler le fine-tuning
Une méthode qui transforme les évaluations par rubrique en diagnostic précis des capacités faibles d'un modèle, pour générer des données de fine-tuning ciblées.
Kimi K3 : ce que le benchmark du pélican nous apprend encore
Simon Willison teste Kimi K3 avec son benchmark maison — dessiner un pélican à vélo en SVG — et en tire des enseignements sur l'évaluation des LLM.
Kimi K3 de Moonshot AI : un modèle de 2,8 billions de paramètres, poids ouverts promis fin juillet
Le laboratoire chinois Moonshot AI dévoile Kimi K3, qui revendique le titre de premier modèle open-weight de classe 3T, avec des tarifs inédits pour un modèle chinois.
SciDiagramEdit : apprendre à éditer des diagrammes scientifiques à partir des révisions d'articles
Un nouveau benchmark exploite l'historique des versions arXiv pour entraîner des agents à éditer des figures scientifiques via instructions en langage naturel.
Au-delà du taux de succès : évaluer les agents de sécurité offensifs et défensifs selon leur coût
Une étude compare des agents de sécurité IA à budget de calcul fixe, révélant des dynamiques très différentes entre attaque et défense.
Le consortium allemand sort Soofi S, un modèle 30B open performant
Un nouveau consortium allemand publie Soofi S, un modèle open de 30 milliards de paramètres qui surpasse les benchmarks en anglais et en allemand.
NVIDIA Nemotron 3 Embed : 1er sur RTEB
Le modèle embedding de NVIDIA domine le benchmark RTEB, boostant les capacités de retrieval pour les agents IA.
Nouveaux modèles, mêmes avantages
Un billet Hugging Face interroge la portée réelle des gains apportés par les modèles récents face aux approches établies.
Les LLM maîtrisent-ils la compréhension technique des papiers d'archi ?
Une étude évalue la capacité des grands modèles de langage à analyser et comprendre en profondeur les papiers scientifiques en architecture informatique.
Hindcast : évaluer les LLM prévisionnistes en rejouant les marchés de prédiction sans fuite de données
Un nouveau protocole d'évaluation isole les LLM de toute donnée post-événement pour mesurer une vraie capacité de prévision, pas du simple rappel.
Les optimiseurs d'agents composent-ils ? Une évaluation en apprentissage continu sur Terminal-Bench 2.0
Une étude compare trois méthodes d'optimisation d'agents et montre que la plupart des gains ne se maintiennent pas dans un cadre d'apprentissage continu.
Real World VoiceEQ : mesurer la qualité vocale de l'IA
Hugging Face dévoile Real World VoiceEQ, un nouveau benchmark pour évaluer la qualité humaine des modèles de voix.
NVIDIA : 5 000 Kagglers testent le reasoning
Un challenge massif sur le modèle Nemotron identifie les techniques les plus efficaces pour améliorer les capacités de raisonnement des IA.
Les agents IA savent-ils reconnaître une tâche simple ? Vers un raisonnement conscient de la complexité
Un nouveau cadre, E3, apprend aux agents LLM à estimer l'effort nécessaire avant d'agir, réduisant drastiquement coûts et sur-lecture inutile de code.
L'illusion de robustesse : la précision globale masque des retournements de prédiction
Un contexte non pertinent, même du charabia, peut faire basculer les réponses de LLM sur certains exemples sans que la précision globale ne bouge.
ViHoRec : Dataset de recommandation hôtelière vietnamienne
Un benchmark pour le cold-start avec un nouveau dataset contrôlé et privé.
Benchmark IA : évaluer la maturité de votre équipe
Un outil gratuit pour mesurer en 5 minutes l'intégration des agents IA dans vos workflows techniques.
Feedback pédagogique : un protocole de classification testé dans la durée et entre langues
Un protocole validé pour classer les commentaires d'évaluation d'enseignement résiste au passage aux LLM récents et se transfère à l'anglais.
Question-réponse vidéo appuyée sur des preuves visuelles vérifiables
Un nouveau benchmark et dataset visent à forcer les Video LLMs à justifier leurs réponses par des segments spatio-temporels précis, pas juste du texte.
AdvancedMathBench : un benchmark pour la génération et la vérification de preuves mathématiques avancées
Un nouveau benchmark évalue la capacité des LLM à produire et vérifier des preuves de niveau universitaire à doctoral, au-delà des olympiades.
MM-ToolSandBox : évaluation unifiée des agents visuels
Un nouveau benchmark évalue la capacité des agents multimodaux à appeler des outils sur 500+ fonctions.
StoryTeller : génération d'audiodescription longue cohérente avec la narration, sans entraînement
Un framework sans fine-tuning maintient une mémoire narrative pour produire des audiodescriptions fidèles à l'histoire, pensées pour les publics aveugles et malvoyants.
L'API SpeechAnalyzer d'Apple face à Whisper et à son prédécesseur : le benchmark
Un test comparatif évalue la nouvelle API de reconnaissance vocale d'Apple par rapport à Whisper d'OpenAI et à l'ancienne API SFSpeechRecognizer.
Benchmark de 15 GPU « e-waste » sur des charges de travail modernes
Un ingénieur teste d'anciennes cartes graphiques données pour obsolètes face à des workloads IA et compute actuels.
GoldenSwag : Pleias publie un nouveau jeu de données de référence
Le laboratoire français Pleias met en ligne GoldenSwag sur Hugging Face, sans détails contextuels supplémentaires disponibles.
Claude Code : 33k tokens avant prompt vs 7k pour OpenCode
Comparaison de l'overhead token entre agents : Claude Code transfère 33 000 tokens avant de lire le prompt, contre 7 000 pour OpenCode.
Comment évaluer les politiques robotiques polyvalentes pour un déploiement réel
NVIDIA détaille les défis méthodologiques liés à l'évaluation rigoureuse des foundation models robotiques en conditions réelles.