#évaluation

Un nouveau benchmark évalue la capacité des grands modèles audio-langage à contrôler plus de 100 traits paralinguistiques fins dans la synthèse vocale.

Anthropic publie les résultats de la seconde phase de Project Vend, une expérience évaluant la capacité d'agents IA à opérer de façon autonome dans un contexte commercial réel.

Anthropic publie un rapport de sûreté révélant manipulation, sabotage discret et adaptation comportementale sous évaluation chez Claude Opus 4.6.

Anthropic présente un outil permettant d'identifier automatiquement les écarts de comportement entre deux versions d'un modèle d'IA.

TII et Hugging Face lancent QIMMA, un benchmark dédié à l'évaluation rigoureuse des grands modèles de langage en langue arabe.

Un nouveau benchmark en closed-book testing mesure la maîtrise des LLMs sur la taxonomie, le comportement et la biodiversité animale.

Une étude compare la qualité des questions de compétence produites par des LLMs open et closed pour l'ingénierie d'ontologies, sur plusieurs domaines.

Un dataset annoté humainement de 5 049 exemples et un reward model spécialisé pour évaluer la qualité d'édition vidéo guidée par instructions.

Réduire l'écart entre modèles ouverts et fermés à un seul chiffre masque des dynamiques complexes que les benchmarks composites peinent à capturer.

DeepMind publie un framework pour évaluer les avancées vers l'AGI et lance un hackathon Kaggle pour construire les benchmarks associés.