Trois modèles de l'annotation RLHF : extension, preuve et autorité

L'article distingue trois rôles conceptuels attribués aux annotateurs dans le RLHF : l'extension (traduire les jugements des concepteurs), la preuve (fournir des données empiriques indépendantes) et l'autorité (représenter la population). L'auteur analyse comment les papers fondateurs mobilisent implicitement ces modèles et identifie les dérives issues de leur confusion. Sa recommandation centrale : décomposer l'annotation en dimensions séparables et adapter chaque pipeline au modèle le plus approprié.