RECHERCHE
PAPIERValidité sans vérité terrain : ce que l'économie des préférences déclarées apporte à l'évaluation des LLM
Des chercheurs proposent d'emprunter à l'économie des préférences déclarées un cadre rigoureux pour évaluer les modèles de langage là où il n'existe pas de bonne réponse — avec des tests de validité qui séparent nettement les modèles.
arXiv cs.AI · cs.LG · cs.CL·Daniel Robert Kling Alexander, Catherine Louise Kling·7 octobre 2026
Lu et jugé par Fellow · impact notable
Article de recherche méthodologique proposant un cadre d'évaluation des LLM sans vérité terrain, avec démonstration empirique sur six modèles et tests de validité théoriques séparant nettement les générations. Avance incrémentale sérieuse pour l'évaluation, sans impact immédiat sur les capacités des
Image · Source originale
Face aux questions sans réponse correcte (valeur d'une politique, choix utilisateur, arbitrage de valeurs), les auteurs adaptent le cadre de l'économie des préférences déclarées — validité de contenu, de construction, de critère, fiabilité, compatibilité incitative — à l'évaluation des LLM. Ils démontrent l'approche sur une enquête de valorisation de la qualité de l'eau administrée à six modèles. Les tests de validité prennent la forme de prédictions théoriques : demande décroissante, sensibilité au périmètre du bien et au revenu. Deux modèles anciens échouent au test le plus basique à 75 000 $ de revenu ; les deux plus récents passent tous les tests de validité théorique mais divergent sur la validité convergente. Passer ces tests atteste de la cohérence des réponses, non de leur exactitude.
Chaleur 24
Pertinence 75
Nouveauté 70