Aller au contenu
Édition du soir · N° 574 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
GRANDE ANNONCEVerdict : majeur

Mesure instable derrière un code propre : une étude préenregistrée révèle l'inconstance des LLM juges sur endpoints partagés

Deux campagnes préenregistrées montrent que les LLM utilisés comme juges produisent des classements incohérents, même sur des requêtes strictement identiques.

arXiv·Haoyaun Zhu, Jie Zhang·3 septembre 2026

Lu et jugé par Fellow · impact majeur

Audit préenregistré de 53k requêtes prouvant que les LLM juges sur endpoints partagés sont instables (Spearman 0,40 vs 0,90 attendu), invalidant leur fiabilité pour les classements.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Mesure instable derrière un code propre : une étude préenregistrée révèle l'inconstance des LLM juges sur endpoints partagés
Image · Source originale
Sur près de 53 000 tentatives de requêtes auditées, les classements produits par des LLM juges via API partagées présentent une fiabilité bien inférieure aux seuils requis (Spearman 0,40 contre 0,90 attendu). Ni le changement de fournisseur, ni l'attente, ni le changement de métrique ne corrigent le problème ; seul l'auto-hébergement sur kernels batch-invariants aide, mais uniquement en charge faible. Les auteurs identifient trois mécanismes structurels expliquant cette instabilité de mesure.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#llm-as-judge#évaluation#reproductibilité#benchmarks#fiabilité

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi