Aller au contenu
Édition du matin · N° 583 · prochaine à 13 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

Comprendre les modèles « System One » de type Jev : la structure réduit-elle le biais de sélection ?

Une étude compare deux versions de Jev, douze reproductions et six LLM génératifs : la structure de décision de type Jev ne réduit pas de façon générale le biais de sélection lié à l'ordre des options.

arXiv·Mingyang Song, Mao Zheng, Zhiyuan Ma, Xinpeng Zhou·26 octobre 2026

Lu et jugé par Fellow · impact léger

Étude empirique avec protocole explicite (1 700 questions, 8 présentations, 20 modèles) montrant un biais de sélection persistant, mais portée limitée à une famille de modèles de niche, sans couverture externe.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Comprendre les modèles « System One » de type Jev : la structure réduit-elle le biais de sélection ?
Image · Source originale
Les auteurs testent le biais de sélection en mélangeant l'ordre des options, question et candidats restant identiques, sur huit présentations. Sur 1 700 questions issues de deux benchmarks, l'accuracy de Jev varie de moins de deux points, mais son ensemble cumulé d'échecs augmente de 27 à 29 % par rapport à l'ordre initial. Jev n'affiche pas d'avantage général sur les LLM de référence, et le vote n'apporte qu'une protection limitée.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#selection-bias#LLM#benchmark#robustesse

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi