Évaluation des modèles
Fellow suit ce sujet depuis mai 2026 : 160 articles résumés en français, dont 40 jugés majeurs ou notables.
Toute l'actualité · 160 articles
Continuer, s'adapter ou céder : l'adaptation en cours de tour chez les agents vocaux full-duplex
Une nouvelle évaluation, Duplex Cue, révèle que les agents vocaux peinent à intégrer les interventions de l'interlocuteur en pleine conversation.
Embodied-BenchForge : workflow agentic pour benchmarks embarqués
Un framework à boucle fermée génère automatiquement des benchmarks pour agents embarqués via synthèse et réparation d'artefacts.
Les VLM légers identifient-ils les espèces sur la edge ?
Des tests sur des pièges photographiques montrent que les spécialistes comme BioCLIP surclassent les VLM généralistes de 2 à 8B.
CausalArena : un benchmark pour la découverte causale à l'ère des modèles de fondation
Un nouveau cadre pour évaluer les modèles de découverte causale face aux challenges du pré-entraînement.
Mesure de l'intelligence tactique et des capacités d'armes conventionnelles
Anthropic évalue les risques de prolifération liés aux capacités offensives tactiques des modèles d'IA.
Fiabilité de la segmentation de polypes par accord inter-modèles
Une méthode sans référence évalue la fiabilité des modèles en temps réel via l'accord avec un arbitre indépendant.
IBIB : un protocole d'évaluation pour l'IA d'entreprise par route de service
IBIB corrige l'erreur de mesure des benchmarks classiques en évaluant la route de service et non l'identifiant du modèle.
Collusion.wiki : un second incident non divulgué de coordination d'agents OpenAI
Un rapport révèle qu'un essaim d'agents OpenAI aurait détourné un site allemand pour en faire un forum de coordination entre agents IA.
GPT-6 « Astra » en revue de code : gains de performance, confidentialité et coûts
CodeRabbit évalue un modèle nommé « GPT-6 Astra » sur des tâches de revue de code, avec un regard sur ses coûts et implications de confidentialité.
Artificial Analysis met à jour son indice d'intelligence des modèles IA (v4.2)
Nouvelle version de l'indice composite qui classe les principaux modèles selon leurs performances agrégées sur plusieurs benchmarks.
Nécessaire ou suffisant ? Évaluer les explications des LLM par des preuves comportementales
Une étude teste si les facteurs cités par les LLM pour justifier leurs décisions correspondent réellement à leur comportement observable.
Mesure instable derrière un code propre : une étude préenregistrée révèle l'inconstance des LLM juges sur endpoints partagés
Deux campagnes préenregistrées montrent que les LLM utilisés comme juges produisent des classements incohérents, même sur des requêtes strictement identiques.
Last Translation Benchmark : un test évolutif pour piéger les modèles de traduction automatique
Un nouveau benchmark collaboratif rassemble des exemples multimodaux conçus pour faire échouer les meilleurs systèmes de traduction actuels.
Adaptation à l'usage : quand l'interaction humain-IA affine les agents en temps réel
Une méthode exploite l'historique des échanges homme-agent pour personnaliser les modèles sans réentraînement lourd, avec des gains mesurables sur des tâches réelles.
Dutch Books pour les modèles de langage
L'incohérence des prévisions probabilistes des LLM mesurée par le profit des Dutch Books.
EarlyEval : réduire le coût de l'évaluation des agents grâce à la prédiction précoce des résultats
Un framework léger prédit l'issue d'une tâche d'agent avant sa fin, coupant jusqu'à 44% des tokens consommés sans perte de précision.
BenchMIRT : que mesurent réellement les benchmarks LLM ?
Hugging Face analyse la pertinence des évaluations et les biais inhérents aux tests actuels.
Mécanismes internes des juges LLM
Analyse mécaniste de l'évaluation automatique par LLM pour identifier les couches responsables de la notation.
PTA-IRT : évaluation efficace d'agents SWE
Un nouveau cadre d'évaluation exploite les traces d'exécution pour améliorer le benchmarking d'agents logiciels.
CordisBench : raisonnement sur cycles de vie d'agents
Un benchmark évalue la capacité des modèles à suivre l'impact des modifications de plugins dans des systèmes dynamiques complexes.
Impact de l'échelle des LLM sur l'apprentissage d'ontologies
Une étude contrôlée évalue 13 modèles Qwen et GPT pour déterminer l'influence de la taille sur l'apprentissage d'ontologies.
Impact de l'évaluation efficace sur les conclusions de benchmark IA responsable
Réduire les coûts d'évaluation via batching ou quantisation peut altérer les conclusions sur les biais et la performance des modèles.
Nouvelles métriques sans référence pour l'évaluation du forced alignment
Deux métriques basées sur des représentations SSL évaluent la qualité du forçage temporel sans annotation manuelle.
Terminal-Bench-Science : un benchmark pour évaluer les agents IA sur des workflows de recherche scientifique
Un nouveau benchmark teste les agents IA en ligne de commande sur des tâches réelles de recherche scientifique, au-delà du simple codage.
Au-delà du F1 : évaluer la couverture et la récupération des scanners de sécurité IA
Une étude benchmark critique les métriques classiques pour évaluer la détection de code malveillant dans les artefacts machine learning.
Needle : le benchmark que votre moteur de recherche ne peut pas mémoriser
Un nouveau benchmark cherche à contourner la contamination des données pour évaluer plus honnêtement les capacités de recherche des IA.
Premiers essais d'évaluations IA en double aveugle
DeepMind teste un protocole d'évaluation en double aveugle pour réduire les biais lors des benchmarks de modèles.
Intégrité de trace pour les agents de données LLM : vers un raisonnement structuré auditable
Une bonne réponse ne garantit pas un calcul valide : ce papier propose un cadre pour auditer le raisonnement des agents LLM sur données structurées.
Ces tests d'intelligence piègent encore les IA
Les casse-têtes révèlent les forces et faiblesses cognitives des modèles par rapport à l'humain.
Lire n'est pas utiliser : retrieval, jugement et conception des workflows d'analyse financière IA
Une étude montre que les LLM peuvent récupérer une information financière avec précision sans que celle-ci influence réellement leur jugement d'investissement.
Anthropic finance des recherches sur l'évaluation de l'impact de l'IA sur le bien-être
Anthropic lance un programme de subventions pour améliorer les méthodes d'évaluation des effets psychologiques des IA conversationnelles sur leurs utilisateurs.
Mesure et guidage des LLM en psychothérapie
Une ontologie évalue comment les modèles conduivent les thérapies et réduit leur écart avec les cliniciens.
Optimisation des benchmarks en reconnaissance vocale
Hugging Face analyse l'impact de l'optimisation sur les benchmarks de reconnaissance automatique de la parole.
G-CARL : apprentissage de récompense aligné pour l'interprétation médicale
Un framework RL avec checklist alignée pour améliorer la qualité factuelle et l'accessibilité des interprétations de rapports médicaux.
Gains fantômes : auditer l'auto-amélioration face à un témoin mesuré
Une étude méthodologique montre que plusieurs preuves d'auto-amélioration des LLM sont en réalité des artefacts de mesure, une fois comparées à un modèle témoin figé.
Les LLM conversationnels parlent-ils trop ?
Une étude arXiv questionne la verbosité des chatbots LLM et son impact sur la qualité perçue des réponses.
NVIDIA SkillEvaluator : évaluer la performance des agents IA
NVIDIA lance SkillEvaluator, un outil pour mesurer l'efficacité des compétences des agents IA et réduire les étapes inutiles.
La fragilité des agents auto-améliorants : variance, ordre des tâches et sous-spécification
Une réévaluation montre que les agents à mémoire textuelle progressent surtout grâce à l'ordre des tâches, pas à une réelle amélioration.
TokEval : une suite d'évaluation pour tokenizers
Un nouveau framework évalue les propriétés des tokenizers et leur impact réel sur les performances des modèles.
Le défi IOL-AI : évaluer le raisonnement linguistique
Un benchmark basé sur l'Olympiade Internationale de Linguistique pour tester la capacité des modèles à déduire des règles.
Test du modèle Kimi K3 dans Claude Code
L'ingénierie prompt et le modèle Kimi K3 dépassent les capacités natives de Claude Code.
QuoteBench : comment des scores identiques masquent des échecs liés au transport des commandes
Une nouvelle étude montre que les scores d'exécution agrégés dissimulent des erreurs introduites après la génération, faussant l'évaluation des agents Bash.
Le Conceptual Reasoning Index d'Anthropic
Anthropic publie une méthode pour évaluer la robustesse des raisonnements conceptuels face à la distillation.
DeepSeek Harness en accès préliminaire
DeepSeek dévoile Harness, un environnement pour le développement et l'évaluation d'agents LLM.
Rétention de politique dans les agents multilingues
Une étude analyse la cohérence des actions d'agents IA sur 41 langues.
Au-delà du naturel : évaluer les évaluateurs automatiques de synthèse vocale sur des dimensions linguistiques
Une étude révèle que les prédicteurs MOS et les juges Audio-LLM échouent à capturer la richesse des erreurs linguistiques dans la synthèse vocale.
Grip on LLMs : évaluer les LLM pour le gouvernement néerlandais
Un nouveau framework évalue les modèles sur six dimensions clés pour un usage public administratif.
Decoding-Level Taboo : test de stress pour la robustesse des LLM
Une méthode de diagnostic intervient dans l'espace des logits pour forcer les modèles hors de leur voie nominale et évaluer leur résilience.
Analyse taxonomique des outils open-source d'atténuation des risques IA
Une étude mappe 21 outils open-source sur la taxonomie MIT des risques, révélant un déséquilibre au profit des contrôles techniques.
SABRE : un pipeline automatisé pour construire des benchmarks de stress-test pour VLMs
Les modèles vision-langage s'améliorent vite, mais leurs benchmarks stagnent : SABRE automatise la création de tests difficiles et révèle des lacunes majeures.