Toutes les news taguées avec ce sujet.
Une méthode distille le raisonnement d'LLMs dans un classifieur léger avec adaptation locale par type de produit.
Une étude montre que la distillation on-policy peut atteindre des performances quasi-optimales avec une seule donnée d'entraînement.
Une méthode de compilation qui transforme une description textuelle en petit modèle spécialisé, autonome et réutilisable, sans dépendre d'un LLM distant.
Une analyse explore les contraintes théoriques qui lient la qualité d'échantillonnage aux coûts de calcul lors de la distillation de modèles de diffusion.
SAGE interroge un VLM seulement en cas d'incertitude pour distiller une politique RL légère, autonome à l'évaluation.
Microsoft Research distille ses modèles de pathologie GigaPath et GigaTIME pour réduire les coûts de calcul et permettre l'analyse de cohortes plus larges.
Comparaison de Merge, Mix RL et MOPD pour fusionner des modèles experts sans perte de capacités.
Une méthode de distillation locale permet de rendre les modèles boîte noire interprétables sans perte de précision.
Une équipe de recherche propose un pipeline de distillation calibré par des experts pour auditer la sécurité routière au Bangladesh à partir d'images.
Une méthode de distillation corrige le désaccord entre teacher et vérificateur pour améliorer le raisonnement sur des contextes longs.
Liquid AI publie des versions quantifiées de LFM2.5 obtenues via une méthode de distillation prenant en compte la quantification.
Anthropic publie une méthode pour évaluer la robustesse des raisonnements conceptuels face à la distillation.
Un modèle puissant peut-il booster un modèle faible à l'inférence sans entraînement ?
Une étude montre qu'il est possible de décrypter les chaînes de pensée d'o1 et consorts, exposant des clés API, mots de passe et données personnelles.
Une méthode vise à réduire drastiquement le coût de la distillation de modèles, la rendant accessible pour un déploiement massif.
Un nouveau cadre hybride allant efficacité et protection de la vie privée pour analyser les vidéos de classe.