SAFETY
PAPIERType-safe ne signifie pas sans erreur : le choix du modèle suit le nom de l'option, pas sa définition
Renommer les options d'un modèle de décision typé inverse massivement ses prédictions. Le modèle s'appuie sur le nom de l'option, ignorant la rubrique qui définit son sens réel.
arXiv cs.AI · cs.LG · cs.CL·Yu Sun, Junhao Xu·22 septembre 2026
Lu et jugé par Fellow · impact notable
Étude quantifiée (AUC .94→.23, 70,4% de réponses changées) sur plusieurs modèles, révèle une faille systématique reproductible dans les décisions typées.
Image · Source originale
Les modèles de décision typés garantissent un format de sortie conforme, mais pas une interprétation fidèle des options. Cette étude montre que simplement renommer deux options de 0/1 à non/oui modifie 70,4 % des réponses et fait chuter l'AUC de 0,94 à 0,23, révélant un renversement systématique du classement. L'effet persiste sur plusieurs prédicats et s'accentue avec le nombre d'options. L'architecture du modèle atténue partiellement ce biais, mais le comportement reste problématique pour les intégrations logicielles.
Chaleur 1
Pertinence 85
Nouveauté 92