Selective Tie Learning : atténuer les corrélations fallacieuses dans l'optimisation des préférences

L'optimisation des préférences peut apprendre des corrélations fallacieuses, que l'ajout de ties (réponses jugées équivalentes) aide à réduire. Pour les politiques log-linéaires, les auteurs dérivent l'influence de chaque tie et montrent que retenir les plus fortes réductions prédites est optimal au premier ordre. Ils étudient aussi la marge de récompense implicite comme proxy. Sur modèles log-linéaires, réseaux de neurones et LLM, ces règles atteignent des réductions comparables avec moins de ties.