RECHERCHE
PAPIERLes modèles de base peuvent raisonner en s'appuyant sur des indices issus des données d'entraînement
Un simple token de départ comme « Okay » ou « Alright » peut faire bondir les performances de raisonnement d'un modèle de base, sans RL.
arXiv cs.AI · cs.LG · cs.CL·Sophie L. Wang, Amil Dravid, Rulin Shao, Kevin Farhat·5 octobre 2026
Lu et jugé par Fellow · impact notable
Résultats chiffrés vérifiables (MATH-500 42%→78%) et interventions causales reproductibles, mais une seule étude non indépendante.
Image · Source originale
Les auteurs montrent que fixer certains tokens de début de réponse améliore fortement les performances en maths et en code de modèles de base, rivalisant avec des versions entraînées par RL. Le RL rendrait ces indices plus probables, et des interventions causales sur les données permettent de créer artificiellement de nouveaux « cues » de raisonnement, y compris avec des mots arbitraires. L'étude relie aussi ces indices à des comportements distincts de refus ou de conformité, liés à différents types de données d'entraînement.
Chaleur 26
Pertinence 65
Nouveauté 80