Self distillation
Fellow suit ce sujet depuis juillet 2026 : 11 articles résumés en français.
Toute l'actualité · 11 articles
Apprentissage par renforcement avec auto-distillation on-policy à attribution visuelle
Des chercheurs proposent VAG, un mécanisme de filtrage qui ne retient que les corrections token par token appuyées par la preuve visuelle, afin d'éviter la contamination dans le RL multimodal.
UniEvo-VL : auto-amélioration des modèles multimodaux par auto-distillation
Un nouveau papier de recherche propose une méthode d'entraînement par auto-distillation pour faire progresser les modèles vision-langage sans supervision externe.
IdeaAnchor : apprendre aux LLM à transformer la littérature scientifique en idées de recherche
Un nouveau paradigme d'entraînement utilise des spécifications structurées pour apprendre aux modèles à synthétiser des idées de recherche à partir de papiers existants.
Pivot-SD : une self-distillation efficace pour les modèles de langage à diffusion masquée
Une méthode cible uniquement les tokens-pivots les plus déterminants pour affiner les dLMs, avec un gain de performance à faible coût d'entraînement.
Le primitif manquant : diagnostiquer et réparer le raisonnement mathématique des LLM
Une étude identifie la découverte de primitifs mathématiques comme principal goulot d'étranglement du raisonnement des LLM, et propose une méthode de correction par auto-distillation.
AdviSD : apprendre à conseiller les LLM frontières via self-distillation multi-tours ciblée
Une méthode entraîne un petit modèle « conseiller » à guider des LLM figés plus puissants, avec des gains mesurés sur BFCL-v3 et EnvScaler.
Auto-évolution en test-time pour le grounding visuel GUI via distillation guidée par réflexion
Un framework permet aux agents GUI de s'améliorer après déploiement sur des interfaces inconnues, sans annotation humaine, via un cycle exploration-réflexion-internalisation.
RP-OPSD : self-distillation guidée pour le raisonnement multilingue
Une méthode de self-distillation on-policy qui se concentre sur les pivots de raisonnement pour améliorer le transfert de compétences multilingue des LLM.
OPD-V : auto-distillation on-policy visuelle avec équilibrage des modalités
Une nouvelle méthode de post-entraînement corrige le déséquilibre texte-image dans les modèles multimodaux pour améliorer le raisonnement visuel.
TurnSight : auto-distillation rétrospective au niveau des tours pour le raisonnement avec outils
Une nouvelle méthode de RL affine l'attribution de crédit dans les LLM utilisant des outils, en exploitant un signal rétrospectif calé sur la structure par tour d'interaction.
Visual Contrastive Self-Distillation
Une méthode de self-distillation visuelle qui surpasse les OPSD existants sur Qwen-VL.