GraphDPO : optimiser un graphe de préférences plutôt que des paires

GraphDPO étend le DPO classique en modélisant les préférences comme un graphe acyclique orienté plutôt que de simples paires. Cette approche encode les relations de dominance comme des arêtes et optimise un objectif inspiré du modèle Plackett-Luce, garantissant la transitivité et évitant les gradients parasites. La complexité reste linéaire par prompt grâce à une agrégation log-sum-exp, et un ancrage optionnel sur des solutions vérifiées stabilise l'entraînement.