Aller au contenu
Édition du matin · N° 615 · prochaine à 13 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

Aligner les modèles de langage sur des préférences générales : étude empirique de la Direct Nash Optimization

Une réimplémentation indépendante de DNO-Prct fait passer le LC win rate de Llama 3.1 8B Instruct de 31,7 % à 45,3 % sur AlpacaEval 2.0, avec des annotateurs open-weights possibles.

arXiv·Austin Tsai, Saurav Nanda, Ganapathy Parthasarathy, Bhuvnesh Kumar·3 novembre 2026

Lu et jugé par Fellow · impact léger

Réimplémentation indépendante de DNO-Prct avec chiffres sur AlpacaEval 2.0, mais exécutions uniques et GPT-4o à la fois professeur et juge ; portée limitée à un travail de reproduction.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Aligner les modèles de langage sur des préférences générales : étude empirique de la Direct Nash Optimization
Image · Source originale
La Direct Nash Optimization (DNO) aligne un modèle sur une fonction de préférence générale en approchant l'équilibre de Nash d'un jeu de préférences à deux joueurs. Réimplémentée indépendamment sur Llama 3.1 8B Instruct et Mistral 7B Instruct v0.1, la variante DNO-Prct porte le LC win rate de 31,7 % à 45,3 % (Llama) et de 6,8 % à 18,4 % (Mistral) en trois itérations. Avec des annotateurs open-weights de la même famille, 62 % et 82 % du gain sont conservés. Les ablations montrent que retirer les réponses de référence ou le data look-back coûte 6 à 10 points de LC.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#alignement#preference-optimization#DPO#AlpacaEval#open-weights

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi