Évaluation des modèles
Fellow suit ce sujet depuis mai 2026 : 160 articles résumés en français, dont 40 jugés majeurs ou notables.
Toute l'actualité · 160 articles
Apprendre à faire confiance sélectivement au contexte via un DPO adapté
Un benchmark et une méthode d'entraînement pour distinguer les modèles qui ignorent aveuglément le contexte de ceux qui savent vraiment quand s'y fier.
Le piège des basses fréquences : les modèles vidéo-langage échouent au comptage simple d'événements
Une étude sur 2 190 vidéos contrôlées révèle que les VLM comme Gemini échouent massivement dès que le nombre et la fréquence d'événements augmentent.
CalibForge : calibration adversariale de solveurs pour générer des tâches terminales apprenables
Un système autonome ajuste des tâches d'agents terminaux selon leur difficulté réelle pour un solveur donné, améliorant nettement les performances d'entraînement.
Les défis de l'évaluation des méthodes d'explicabilité pour données statiques et évolutives
Un état des lieux des limites de l'évaluation en XAI, illustré par un système de détection de biais et l'adaptation aux flux de données évolutifs.
Évaluer la qualité des benchmarks pour agents conversationnels
Un framework sans référence utilise des LLM comme juges pour évaluer la consistance et la complexité des benchmarks d'agents.
Votre modèle connaît déjà la réponse : comment les benchmarks fuitent dans les LLM
Une analyse pointe la contamination des données d'entraînement par les réponses des benchmarks, faussant l'évaluation réelle des performances des LLM.
SocietyBench : prévision de l'évolution contrefactuelle
Un benchmark évalue la capacité des LLM à anticiper l'évolution d'événements sociaux via des scénarios contrefactuels.
PAST-Bench : un benchmark pour évaluer l'auto-amélioration récursive des agents IA personnels
Un nouveau banc d'essai teste si les agents IA s'améliorent vraiment en exploitant leur expérience accumulée entre sessions.
Scaling au moment de l'inférence dans les LLM de raisonnement : régimes, évaluation et reproductibilité
Une taxonomie systématique des méthodes de test-time scaling pour clarifier des comparaisons souvent biaisées par des protocoles hétérogènes.
Quand les benchmarks IA plafonnent : étude de la saturation
Une analyse systémique montre que les performances actuelles sur les standards de l'industrie atteignent leurs limites.
OpenAI revient sur des évaluations tierces de cybersécurité impliquant ses modèles
OpenAI détaille des incidents récents liés à des tests de cybersécurité menés par des tiers et présente de nouvelles garanties d'évaluation.
Qui doit être généré ? Justifier les cibles démographiques dans la génération ouverte
Un cadre méthodologique interroge les cibles implicites utilisées pour auditer l'équité démographique des modèles génératifs.
Évaluation critique des résultats d'IA en mathématiques annoncés récemment
Un fil de discussion questionne la fiabilité et la portée réelle des performances mathématiques attribuées à des modèles d'IA récents.
Les LLM échouent au trading, le raisonnement n'y change rien
Une étude montre que les capacités de raisonnement avancé des grands modèles de langue n'améliorent pas leurs performances en trading.
Orca-Bench : évalue la préparation des agents LLM
Un nouveau benchmark mesure la capacité des modèles d'IA à gérer des tâches opérationnelles d'oncall.
Fondements théoriques des tests socratiques
Une nouvelle approche d'examen conversationnel et multimodal pour évaluer la cognition.
Une validation centrée sur l'humain du coefficient explicabilité-performance
Une nouvelle métrique agnostique au modèle mesure la qualité des explications XAI en la comparant aux jugements humains, sur texte, image et données tabulaires.
FriendBench : évaluer l'inférence de familiarité entre deux personnes chez l'humain et les LLM multimodaux
Un nouveau benchmark teste si les modèles multimodaux peuvent deviner si deux personnes se connaissent déjà à partir d'un court échange filmé.
AISPA : un cadre pour l'audit des system prompts
Des chercheurs proposent AISPA, une méthode pour auditer les instructions système des produits IA selon 8 dimensions.
OSReward : évaluation standardisée des modèles de récompense
Un benchmark évalue la fiabilité des VLM comme juges d'agents informatiques.
Change2Task : transformer l'historique de dépôts en tâches exécutables pour agents de code
Un système qui convertit les pull requests fusionnées en tâches vérifiées pour entraîner et évaluer les agents de codage.
Échantillonner plutôt que réfléchir : le simple sampling répété bat Self-Refine et Reflexion à coût égal
Une étude contrôlée sur 36 comparaisons montre qu'aucune méthode d'auto-critique ne surpasse le sampling répété une fois le coût en tokens égalisé.
Agents IA : capables de mener de la recherche ouverte ?
Des évaluations montrent que si les agents gèrent l'ingénierie, ils échouent à résoudre des problèmes de recherche ouverts.
OmegaUse-OfficeVal : benchmark d'agents LLM pour tâches bureautiques
Un nouveau benchmark évalue les agents LLM sur des workflows bureautiques longs avec des indicateurs économiques.
Desktop-Delta Bench : évaluer la compréhension des GUI par les IA
Un nouveau benchmark teste la capacité des modèles d'IA à comprendre les transitions d'interface graphique sur desktop.
Les LLM réutilisent la syntaxe humaine plus que les humains
Une étude sur Llama et Gemma montre que l'instruction-tuning renforce la réutilisation de règles syntaxiques humaines, dépassant les taux observés entre humains.
Les LLM open-weights 'uncensored' sont plus optimistes
Une étude révèle que les modèles ouverts sans garde-fou affichent un biais d'optimisme mesurable par rapport à leurs versions de base.
Pourquoi il ne faut pas demander de score de confiance à un LLM
Les LLM sont incapables d'évaluer leur propre certitude. Demander un score de confiance induit une illusion de fiabilité.
La "taxe de régression" : pourquoi les compétences aident et nuisent aux agents LLM
Une étude sur près de 6 000 runs montre que doter un agent LLM de compétences procédurales peut aussi le faire régresser sur des tâches déjà réussies.
Letterpaths : comment les LLM peuvent être utiles même quand ils se trompent
Un essai explore comment les erreurs des LLM sur des tâches simples révèlent des usages où leur imperfection reste exploitable.
Mozilla : De l'évaluation aux garde-fous à ACM FAccT 2026
Mozilla détaille ses contributions à la conférence ACM FAccT 2026 sur l'éthique de l'IA.
Agents en conditions réelles : quand la recherche rencontre le déploiement
Un tutoriel examine le passage des agents LLM du prototype académique à la production, avec études de cas en pharma et finance.
GAMUT : évaluer la complétude factuelle par méta-rubriques
Un nouveau cadre et benchmark pour mesurer la complétude factuelle des générations longues via des méta-rubriques à deux niveaux.
VEHBench : un benchmark diagnostique par étapes pour la conception de récupérateurs d'énergie vibratoire assistée par LLM
763 tâches ancrées dans la littérature évaluent les LLM sur quatre rôles de conception d'ingénierie physique, révélant des performances très inégales selon les étapes.
ActiveVision : un benchmark révèle l'échec des MLLMs sur l'observation visuelle active
Les modèles multimodaux les plus avancés s'effondrent face à des tâches nécessitant une perception visuelle itérative, loin derrière les humains.
CRAFT : regrouper les rubriques d'évaluation pour diagnostiquer les faiblesses des LLM et cibler le fine-tuning
Une méthode qui transforme les évaluations par rubrique en diagnostic précis des capacités faibles d'un modèle, pour générer des données de fine-tuning ciblées.
Partition, prompt, agrégation : la cohérence statistique des LLM mise à l'épreuve
Une étude montre que les estimations probabilistes des LLM violent souvent les règles de base de la théorie des probabilités.
Au-delà du taux de succès : évaluer les agents de sécurité offensifs et défensifs selon leur coût
Une étude compare des agents de sécurité IA à budget de calcul fixe, révélant des dynamiques très différentes entre attaque et défense.
L'utilité statique d'un document ne prédit pas son utilité causale dans la recherche agentique multi-étapes
Une étude sur HotpotQA montre qu'un tiers des documents jugés inutiles par les métriques RAG classiques s'avèrent en réalité déterminants pour les agents de recherche.
Au-delà du leaderboard : leçons de conception pour un VQA multimodal fiable en santé
Une analyse rétrospective de neuf systèmes en endoscopie GI révèle l'écart entre performance sur benchmark et fiabilité clinique réelle.
Les LLM maîtrisent-ils la compréhension technique des papiers d'archi ?
Une étude évalue la capacité des grands modèles de langage à analyser et comprendre en profondeur les papiers scientifiques en architecture informatique.
Real World VoiceEQ : mesurer la qualité vocale de l'IA
Hugging Face dévoile Real World VoiceEQ, un nouveau benchmark pour évaluer la qualité humaine des modèles de voix.
L'illusion de robustesse : la précision globale masque des retournements de prédiction
Un contexte non pertinent, même du charabia, peut faire basculer les réponses de LLM sur certains exemples sans que la précision globale ne bouge.
Forme, pas contenu ? Une évaluation préenregistrée avec placebo de l'auto-réparation chez les petits modèles de code
Une étude méthodologique teste si les petits LLM de code exploitent réellement le contenu des erreurs pour se corriger, via des placebos contrôlés.
AdvancedMathBench : un benchmark pour la génération et la vérification de preuves mathématiques avancées
Un nouveau benchmark évalue la capacité des LLM à produire et vérifier des preuves de niveau universitaire à doctoral, au-delà des olympiades.
Impact de la température sur le biais idéologique en RAG
Une étude montre que la température d'échantillonnage influence la transmission des idéologies dans les systèmes RAG.
Annotations pour le dataset HellaSwag
Publication d'annotations détaillées pour le benchmark HellaSwag par Pleias.
Comment évaluer les politiques robotiques polyvalentes pour un déploiement réel
NVIDIA détaille les défis méthodologiques liés à l'évaluation rigoureuse des foundation models robotiques en conditions réelles.
Une décennie de modèles vision-langage : évolution de la précision et des erreurs cognitives
Une étude sur dix ans montre que les modèles multimodaux récents ont quasiment comblé leur écart de performance face aux scènes sociales complexes.
UniClawBench : un benchmark universel pour les agents proactifs en environnement réel
Un nouveau benchmark évalue les agents LLM sur des tâches réelles en conteneurs Docker, avec une stratégie en boucle fermée pour simuler des interactions humaines multi-tours.