RECHERCHE
PAPIERLa paire minimale manquante : évaluer les stéréotypes dans les LLM
Des chercheurs pointent les failles des méthodes classiques de mesure du biais et proposent un protocole d'évaluation plus robuste, multilingue.
arXiv cs.AI · cs.LG · cs.CL·Nataliya Stepanova, Ivan Titov, Emily Allaway, Björn Ross·6 octobre 2026
Lu et jugé par Fellow · impact léger
Nouvelle méthodologie d'évaluation des biais, sans source unique et sans large écho, portée limitée à la recherche en NLP.
Image · Source originale
Les auteurs montrent que comparer une seule paire de phrases contrastives pour mesurer les stéréotypes dans les LLM produit des résultats incohérents. Ils proposent un dispositif à double paire minimale avec un cadre de génération de données (paraphrases, attributs alternatifs) appliqué à l'anglais, au russe, à l'espagnol et au chinois, ainsi que deux nouvelles métriques, dont une fondée sur l'information mutuelle entre groupes sociaux et attributs stéréotypés.
Chaleur 16
Pertinence 45
Nouveauté 65