Aller au contenu
Édition du matin · N° 663 · prochaine à 13 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE
PAPIERVerdict : léger

Problèmes numériques des divergences entre distributions quasi égales

Brandon Amos montre que KL, JSD et entropie souffrent d'erreurs d'arrondi et d'annulation quand les distributions sont proches, et propose des reformulations numériquement stables.

arXiv·Brandon Amos·13 novembre 2026

Lu et jugé par Fellow · impact léger

Article technique utile aux praticiens (distillation, RL) : reformulations stables des divergences KL/JSD avec implémentations testées, mais portée limitée à un problème numérique ciblé.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Problèmes numériques des divergences entre distributions quasi égales
Image · Source originale
Prolongeant les travaux de Barron et al. (2026) sur le softmax et la soft cross-entropy, l'étude met en évidence des problèmes similaires dans les divergences entre distributions catégorielles : KL direct et inverse, JSD généralisée, estimations Monte Carlo de la KL et entropie. Les erreurs d'arrondi et d'annulation affectent calculs directs et gradients, notamment en distillation, reinforcement learning et méthodes proximales. Des reformulations stables sont proposées, avec implémentations validées par des tests basés sur les propriétés.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#divergence-kl#stabilité-numérique#distillation#reinforcement-learning

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi