Problèmes numériques des divergences entre distributions quasi égales
Brandon Amos montre que KL, JSD et entropie souffrent d'erreurs d'arrondi et d'annulation quand les distributions sont proches, et propose des reformulations numériquement stables.
Lu et jugé par Fellow · impact léger
Article technique utile aux praticiens (distillation, RL) : reformulations stables des divergences KL/JSD avec implémentations testées, mais portée limitée à un problème numérique ciblé.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Sebastian Raschka publie un cours vidéo pour construire des modèles de raisonnement from scratch24 octobre 2026
- La distillation on-policy asymétrique apprend l'exploration in-context21 octobre 2026
- Efficacité en calcul de l'OPD strong-to-weak face à GRPO : analyse comparative5 novembre 2026
- RetireOPD : auto-retraite pour distillation on-policy17 septembre 2026
- ExpDis : découpler exploration et optimisation dans l'apprentissage par renforcement avec récompenses vérifiables7 octobre 2026
- Guidage sélectif par entropie : apprendre des politiques autonomes à partir de VLM enseignants imparfaits1 septembre 2026