Distillation
Fellow suit ce sujet depuis juin 2026 : 56 articles résumés en français, dont 15 jugés majeurs ou notables.
Toute l'actualité · 56 articles
Un correctif pour softmax et l'entropie croisée
Des chercheurs identifient deux bugs numériques dans les implémentations standard de softmax, log-softmax et cross-entropy, et proposent des versions corrigées aux effets observés sur l'entraînement.
La distillation on-policy asymétrique apprend l'exploration in-context
ASTEROID, un cadre étudiant–enseignant supervisé, apprend à explorer au moment du test sous observabilité partielle, sans le coût en données de l'apprentissage par renforcement en ligne.
Transformer TS2Vec en modèle de fondation pour la classification de séries temporelles
TS2Vec-FM, réseau convolutif de 1,6M de paramètres pré-entraîné une seule fois, approche l'état de l'art en classification de séries temporelles sans attention ni patch tokenizer.
Au-delà de la réponse : construction de traces conditionnée par l'élève pour la distillation du raisonnement
ReDiST construit des traces de raisonnement adaptées à l'élève cible, puis les distille, avec de meilleures performances que la supervision par la seule réponse sur des benchmarks de QA.
ACEdit : édition d'images multi-tours stable par conditionnement asymétrique
Une méthode d'entraînement inspirée du Self-Forcing limite la dégradation des modèles d'édition d'images lorsque les modifications s'enchaînent sur de nombreux tours.
Retrouver une supervision fiable par la distillation on-policy guidée par la critique
CriticOPD exploite la capacité du teacher à repérer les erreurs de l'étudiant pour restaurer la « recoverability » en distillation on-policy, avec des gains sur six benchmarks de raisonnement mathématique.
Anthropic : la page « Safeguards » recense ses derniers travaux sur les protections de Claude
Élections américaines, distillation illicite, incidents d'accès non autorisé, watermark textuel : Anthropic regroupe sur une page ses publications récentes sur les garde-fous de ses modèles Claude.
La distillation illicite permet de copier les capacités de l'IA de pointe sans garde-fous proportionnés
Anthropic affirme avoir réduit de 90 à 99 % les données collectées par les distillers sur Claude et alerte sur les risques en cybersécurité et sécurité nationale.
Anthropic renforce ses défenses contre les attaques par distillation
Anthropic affirme que ses nouvelles méthodes ont réduit d'environ 90 à 99 % les données collectées par les distillers, au prix de compromis pour l'entreprise et ses clients.
Un bloc, plusieurs profondeurs : Vision Transformers récurrents avec experts programmés par la profondeur
reViT applique un unique bloc Transformer de façon récurrente et atteint la précision d'un encodeur vision pleine profondeur, avec environ 70 % de paramètres stockés en moins.
ExpDis : découpler exploration et optimisation dans l'apprentissage par renforcement avec récompenses vérifiables
Des chercheurs proposent un cadre qui sépare la phase d'exploration de celle d'optimisation en RLVR, permettant d'intensifier l'exploration sans dégrader la qualité du modèle final.
Distillation GNN vers MLP : préserver la géométrie spectrale du graphe via la courbure d'Ollivier-Ricci
Des chercheurs proposent G²MLP, un cadre de distillation qui utilise la courbure d'Ollivier-Ricci pour guider l'alignement entre GNN et MLP, corrigeant deux modes d'échec spectraux sur graphes clairsemés et denses.
Bottling : les agents LLM peuvent-ils transformer leurs capacités en artefacts économiques et scalables ?
Un nouveau benchmark, BOTTLED, teste si des agents LLM peuvent convertir des compétences générales en solutions spécialisées à moindre coût.
Paradee : distiller Kokoro-82M en un modèle TTS mono-voix de 8M de paramètres
Un modèle de synthèse vocale compressé 10x, 8,5 Mo en int8, tourne 25x plus vite que le temps réel sur un seul CPU.
Affiner sans recherche : distillation on-policy d'une distribution de puissance au niveau des séquences
Une nouvelle méthode d'entraînement permet à un modèle de produire en une seule génération des réponses aussi précises qu'avec un échantillonnage coûteux à 64 candidats.
Des modèles de langage qui jouent aux échecs et expliquent leurs coups
Queen, un modèle de 4 milliards de paramètres, combine un moteur d'échecs silencieux et un LM pour atteindre le niveau Grand Maître tout en expliquant ses décisions.
Une seule base pour les animer tous : distillation de blendshapes gaussiens pour avatars en temps réel
Une méthode de distillation remplace le décodage neuronal coûteux par une combinaison linéaire de blendshapes, accélérant l'animation d'avatars 3D jusqu'à 1000x.
DMAD : la distillation adversariale accélère la génération visuelle en quelques étapes
Une nouvelle méthode remplace l'estimation de score par une classification adversariale, supprimant le modèle auxiliaire coûteux de la distillation par correspondance de distribution.
Des gradients aux capacités : comprendre la distillation multi-enseignants on-policy
Une étude disséquant comment les signaux de plusieurs enseignants RL façonnent réellement les paramètres d'un modèle étudiant.
PDMD : une méthode de distillation par projection pour stabiliser les modèles de diffusion vidéo
Une nouvelle technique filtre les erreurs du critique dans la distillation par correspondance de distribution, réduisant les artefacts visuels tout en accélérant la génération vidéo.
Vers une intelligence sociale économe en communication chez les agents linguistiques
Une méthode d'entraînement assistée par un enseignant réduit le coût de communication des agents IA tout en améliorant l'atteinte de leurs objectifs sociaux.
Copier l'identique, distiller la différence : comment initialiser les Vision Transformers linéaires
Une étude montre que les poids MLP des ViT Softmax se transfèrent tels quels vers les ViT linéaires, tandis que l'attention doit être distillée pour combler l'écart de performance.
Quand et où faire confiance à l'enseignant : unifier distillation on-policy et GRPO via attribution de crédit calibrée par l'entropie
Une nouvelle méthode combine signaux du vérificateur et du modèle enseignant dans GRPO pour affiner l'apprentissage du raisonnement mathématique token par token.
Distillation on-policy pour le raisonnement en très basse quantification
Une méthode de distillation on-policy corrige les biais d'exposition amplifiés par la quantification sub-3-bit, restaurant la performance des modèles sur les tâches de raisonnement long.
Harness-Zero : distiller les gains d'un harnais d'agent spécialisé dans les poids du modèle
Une méthode pour transférer les bénéfices d'un harnais d'agent optimisé vers un modèle, sans dépendre de ce harnais au déploiement.
RetireOPD : auto-retraite pour distillation on-policy
Une méthode de distillation adaptative améliore les agents RL en désactivant le professeur une fois l'étudiant performant.
Distillation LLM : une méthode pour corriger le biais du professeur sans feedback sur le domaine cible
Un nouvel algorithme couple calibration du modèle enseignant et apprentissage de l'élève pour limiter la propagation d'erreurs lors du transfert de compétences.
Distillation LLM et test-time training pour le recommandeur trade-up
Une méthode distille le raisonnement d'LLMs dans un classifieur léger avec adaptation locale par type de produit.
Compiler par entraînement : transformer des spécifications en langage naturel en fonctions neuronales locales
Une méthode de compilation qui transforme une description textuelle en petit modèle spécialisé, autonome et réutilisable, sans dépendre d'un LLM distant.
Distillation on-policy : un exemple suffit
Une étude montre que la distillation on-policy peut atteindre des performances quasi-optimales avec une seule donnée d'entraînement.
Le paradoxe de la diffusion distillation
Une analyse explore les contraintes théoriques qui lient la qualité d'échantillonnage aux coûts de calcul lors de la distillation de modèles de diffusion.
Guidage sélectif par entropie : apprendre des politiques autonomes à partir de VLM enseignants imparfaits
SAGE interroge un VLM seulement en cas d'incertitude pour distiller une politique RL légère, autonome à l'évaluation.
GigaPath-Flash et GigaTIME-Flash : vers la découverte à l'échelle populationnelle avec des modèles de fondation en pathologie plus efficients
Microsoft Research distille ses modèles de pathologie GigaPath et GigaTIME pour réduire les coûts de calcul et permettre l'analyse de cohortes plus larges.
Consolidation RLVR : paradigmes de fusion multi-domaines
Comparaison de Merge, Mix RL et MOPD pour fusionner des modèles experts sans perte de capacités.
EG-ARSA : un modèle vision-langage ouvert calibré par des experts pour l'audit de sécurité routière
Une équipe de recherche propose un pipeline de distillation calibré par des experts pour auditer la sécurité routière au Bangladesh à partir d'images.
Interprétabilité IA par distillation locale
Une méthode de distillation locale permet de rendre les modèles boîte noire interprétables sans perte de précision.
Au-delà de la vraisemblance du teacher : distillation on-policy calibrée par groupe pour le raisonnement long-contexte
Une méthode de distillation corrige le désaccord entre teacher et vérificateur pour améliorer le raisonnement sur des contextes longs.
LFM2.5 : checkpoints Q4_0 issus d'une distillation adaptée à la quantification
Liquid AI publie des versions quantifiées de LFM2.5 obtenues via une méthode de distillation prenant en compte la quantification.
Le Conceptual Reasoning Index d'Anthropic
Anthropic publie une méthode pour évaluer la robustesse des raisonnements conceptuels face à la distillation.
IA4IA à l'inférence : transfert de capacités fort vers faible
Un modèle puissant peut-il booster un modèle faible à l'inférence sans entraînement ?
Comment décoder les traces de raisonnement chiffrées des modèles frontier
Une étude montre qu'il est possible de décrypter les chaînes de pensée d'o1 et consorts, exposant des clés API, mots de passe et données personnelles.
Rendre la distillation de connaissances suffisamment abordable pour un usage à grande échelle
Une méthode vise à réduire drastiquement le coût de la distillation de modèles, la rendant accessible pour un déploiement massif.
Reconnaissance d'incidents de classe : raisonnement robuste
Un nouveau cadre hybride allant efficacité et protection de la vie privée pour analyser les vidéos de classe.
La distillation de DeepSeek ne transfère pas la censure
Une expérience montre que les modèles dérivés par distillation de DeepSeek perdent ses mécanismes de censure.
VAD : attribution visuelle pour la reconstruction de cibles
VAD isole les preuves visuelles dans la distillation multimodale on-policy pour améliorer la reconstruction des cibles.
β-OPSD : optimisation par politique et auto-distillation
Une nouvelle méthode généralise l'auto-distillation on-policy en introduisant un paramètre β pour équilibrer stabilité et performance.
Améliorer la découvrabilité des produits en e-commerce via la génération d'intentions liées
Un système hybride LLM/SLM étend la recherche au-delà du match strict pour révéler produits substituts et complémentaires en e-commerce.
Relay-OPD : une méthode de distillation on-policy qui corrige les trajectoires de raisonnement défaillantes
Un nouveau mécanisme de relais enseignant-élève réduit l'échec en cascade lors de la distillation, avec des gains mesurables sur le raisonnement mathématique.
Parallel Decoding Distillation : une méthode simplifiée pour accélérer la génération d'images et de vidéos
Une nouvelle technique de distillation par trajectoire réduit le nombre d'étapes de débruitage sans sacrifier la diversité des générations vidéo.
Rethinking Classifier-Free Guidance in Diffusion Distillation
Une nouvelle méthode améliore la distillation on-policy en corrigeant les déséquilibres du CFG.