Évaluation des modèles

Audit préenregistré de 53k requêtes prouvant que les LLM juges sur endpoints partagés sont instables (Spearman 0,40 vs 0,90 attendu), invalidant leur fiabilité pour les classements.

Un protocole d'évaluation fondé sur les preuves pour un système RAG clinique montre que l'extension des annotations de pertinence augmente les preuves reconnues sans modifier les classements.

Un cadre de métriques diagnostiques fondé sur la théorie de Schwartz compare l'expression et l'organisation des valeurs dans des débats humains et des débats générés par LLM.

Une étude construit RTLRepairBench et un jeu d'entraînement, puis met en évidence deux biais de mesure : sémantique de reset en simulation versus formel, et rôle de la spécification seule.

Des chercheurs de Princeton, avec Stanford, l'UK AI Security Institute et Brookings, dressent trente-trois tendances de l'évaluation des agents IA et formulent des recommandations.

Une étude sur 131 tâches de structure protéique montre que les agents de pointe récupèrent bien les métadonnées mais calculent moins fiablement la géométrie, et que le classement dépend de la configuration d'évaluation.

Un nouveau benchmark de 4 102 cas mesure la fidélité de la compression de contexte : même les meilleurs modèles ne conservent toutes les preuves requises que dans environ deux tiers des cas.

Mercor publie une cartographie croisant 924 benchmarks et 923 métiers O*NET : la couverture des tâches économiquement utiles reste très partielle et concentrée sur les plus gros marchés du travail.

Un nouveau benchmark de 95 tâches de livraison client évalue des agents IA dans des environnements simulés où les contraintes non formulées doivent être découvertes. Le meilleur score moyen atteint 0,56.

METR décrit une méthode d'évaluation visant à déterminer si l'automatisation de la R&D en IA provoque une accélération marquée des progrès en capacités, en s'appuyant sur des modèles non publiés.

METR propose un cadre d'« alignment assessment » : cerner les pires actions désalignées que les agents d'un développeur pourraient entreprendre dans des situations futures plausibles.

METR propose un cadre pour évaluer la fiabilité des monitors qui surveillent les agents IA internes des développeurs, autour de cinq sous-questions : couverture, vulnérabilités, évasion, réponse humaine et impact.

METR détaille comment elle travaille avec les entreprises d'IA sur des évaluations et enquêtes dont le public peut s'appuyer pour comprendre les risques de perte de contrôle des agents.

Parsimony évalue le volume de code que les modèles d'IA ajoutent à une base de code, en comptant des unités syntaxiques plutôt que des lignes, à partir de patchs de benchmarks existants.

FrontierML mesure si des agents savent transformer un budget en performance de modèle : 21 tâches longues, avec 10, 50 ou 200 dollars à dépenser en calcul et en données.

Apple évalue les LLM comme alternative au jugement humain pour la traduction automatique, sur les schémas MQM et ESA, en comparant leur accord avec des annotateurs humains.

Epoch AI publie InnovationEval, une évaluation visant à mesurer dans quelle mesure les modèles actuels sont capables d'automatiser des tâches de recherche et développement en intelligence artificielle.

L'équipe Alignment d'Anthropic détaille ses missions, de l'entraînement de Claude à l'évaluation et à la supervision, et liste ses travaux récents sur les actions non voulues des modèles.

Des chercheurs recalculent les horizons temporels à 50 % de METR avec des splines et la théorie de réponse à l'item, et montrent que la relation entre temps humain et difficulté pour l'IA n'est pas linéaire.

En 2026, des évaluations de cybersécurité d'agents d'OpenAI, Anthropic et Google ont atteint des systèmes réels hors périmètre autorisé. Un papier en tire un cadre d'assurance proactive.

Une étude de Samaya AI montre que les LLM les plus avancés dépassent les analystes professionnels pour prédire les bénéfices des entreprises, avec des implications majeures pour la finance quantitative.

Une étude révèle que les grands modèles de langage tendent à produire des réponses similaires, réduisant la diversité des sorties et posant la question de l'homogénéisation de l'IA.

Des agents LLM doivent élaborer des modèles stochastiques de l'ENSO à partir de données réelles, sans réponse connue. Six systèmes sur douze dépassent le modèle publié de référence.

Des chercheurs proposent d'emprunter à l'économie des préférences déclarées un cadre rigoureux pour évaluer les modèles de langage là où il n'existe pas de bonne réponse — avec des tests de validité qui séparent nettement les modèles.

Des chercheurs proposent trois métriques pour évaluer le potentiel d'un modèle de base avant un coûteux post-entraînement agentique, en analysant les trajectoires réussies plutôt que les tests de bout en bout.

Le AI Measurement Science Lab de Stanford met en ligne un textbook complet sur l'évaluation rigoureuse des systèmes d'IA, couvrant benchmarks, métriques et méthodologies scientifiques.

Des chercheurs pointent les failles des méthodes classiques de mesure du biais et proposent un protocole d'évaluation plus robuste, multilingue.

Anthropic étend son dispositif de vérification des capacités cyber de ses modèles, en partenariat avec des organismes externes.

Un benchmark compare les modèles de décision spécialisés aux approches classiques de modération et conclut à une absence d'avantage net.

Un nouveau benchmark évalue la capacité des LLM à générer de la documentation technique destinée aux utilisateurs finaux — et les résultats sont décevants.

L'AI Safety Institute britannique publie Inspect, un outil open-source destiné à structurer et fiabiliser l'évaluation des LLM.

Une analyse mathématique révèle que la distance spectrale standard masque si un LLM invente, supprime ou mélange les arêtes d'un graphe reconstruit.

Un nouveau benchmark révèle que l'efficacité, pas seulement la précision, distingue vraiment les harnais pour LLM en contexte long.

Un système où experts et agents collaborent pour créer des grilles d'évaluation réutilisables, adaptées à chaque institution et validées par des analystes.

Une expérimentation montre qu'une simple consigne anti-conjecture réduit fortement les hallucinations factuelles générées par les LLM.

Une analyse critique démontre les limites du benchmark FLAWED, soulevant des questions fondamentales sur la fiabilité des méthodologies de recherche en entreprise.

Une nouvelle évaluation à grande échelle démontre que les LLM permettent des gains d'apprentissage équivalents à ceux de tuteurs experts, mais à un coût près de 1 000 fois inférieur.

OpenAI publie un benchmark inédit pour évaluer la capacité des modèles IA à fournir des réponses utiles et sûres dans des dialogues réalistes de santé mentale.

Une collaboration entre l'UK AI Safety Institute et l'initiative EvalEval s'attaque au manque de reproductibilité des évaluations de modèles.

L'évaluation des agents IA doit dépasser la simple exactitude d'un appel d'outil pour mesurer l'exécution complète de chaînes de tâches et la récupération sur erreur.

Anthropic engage 150 millions de dollars sur trois ans pour la Genesis Mission et multiplie les partenariats : Accenture, Cognizant, UST, gouvernement de l'Alberta et TCS.

Partenariat pour déployer l'évaluation intégrée des modèles IA au sein des grandes entreprises.

Une étude révèle que les embeddings modélisent mal les mesures physiques objectives, privilégiant la similarité textuelle.

Une étude quantifie la tendance des agents de codage à prétendre avoir tout lu, alors que 68% des tâches ne couvrent pas tous les fichiers demandés.

Une étude interroge l'influence de l'environnement d'exécution (harness) sur les résultats des agents de codage IA, au-delà du modèle sous-jacent.

Un nouveau benchmark évalue la compréhension artistique et contextuelle des modèles vision-langage dans l'éducation.

Un framework de simulation multi-agent valide le raisonnement social des LLM via des motifs cachés vérifiables.

Un modèle GPT-2 125M entraîné exclusivement sur du français révèle l'importance des benchmarks natifs et la sensibilité au tokenizer.

Douze LLM testés sur 222 questions cliniques révèlent un écart entre citation verbatim et véritable justification des affirmations.

Une étude d'Amazon Science interroge la fiabilité du consensus entre modèles utilisés comme évaluateurs automatiques.

Un nouveau benchmark évalue les modèles d'IA sur du code d'entreprise réel et privé.