Mixture of experts
Fellow suit ce sujet depuis juillet 2026 : 12 articles résumés en français, dont 1 jugé majeur ou notable.
Toute l'actualité · 12 articles
Repenser l'exploration du routage dans les Mixture-of-Experts modernes
Des chercheurs identifient un dilemme d'exploration entre experts partagés et segmentation fine dans les MoE, et proposent MirrorMoE pour le résoudre.
Mixture of Experts piloté par un Laplacien de Hodge apprenable pour surrogates d'EDP stationnaires sur maillages grossiers non structurés
Une architecture répartit la solution entre experts transformer par échelle spectrale, via un Laplacien de Hodge discret, et réduit l'erreur relative L2 de 31 % face à Transolver sur AirFRANS.
Des lois d'échelle pour les Mixture-of-Experts en boucle
Une nouvelle loi d'échelle modélise conjointement récurrence et sparsité, et prédit plus finement les performances des modèles MoE bouclés.
SplitMoE : dépasser le piège de l'uniformité pour les modèles de diffusion vidéo
Une nouvelle architecture MoE à rôles séparés améliore la cohérence du routing et la qualité de génération vidéo, sans surcoût de paramètres actifs.
Accélération des modèles vision-langage avec LFM2.5-VL-DSpark
Liquid AI publie LFM2.5-VL-DSpark, un modèle vision-langage optimisé par une architecture de sparse mixture-of-experts pour une inférence plus rapide.
DeCAL : des modèles vision-langage-action dextres ancrés dans la physique via co-imagination latente sensible au contact
Un nouveau modèle VLA combine vision et toucher pour améliorer la manipulation robotique fine dans des scènes riches en contacts physiques.
Entraînement efficace de modèles MoE par reconfiguration de couches
Une architecture MoE hétérogène réduit les coûts d'entraînement sans perte de performance.
Robust CurveMoE : une défense adversariale multi-normes pour les modèles Mixture-of-Experts
Une architecture MoE reliant des experts robustes par mode connectivity pour améliorer la défense contre les attaques adversariales multi-normes.
RG-ResMoE : une architecture MoE pour la prévision de volatilité
Un nouveau modèle MoE optimisé pour la prévision de volatilité financière via un routing expert par régime.
Router avec discernement : l'allocation adaptative à la confiance pour le MoE-LoRA
Une nouvelle méthode de routage ajuste dynamiquement le nombre d'experts activés selon l'incertitude du modèle, token par token.
Extension in-place du tokenizer pour les LLM pré-entraînés
Une méthode pour agrandir le vocabulaire d'un modèle déjà entraîné sans repartir de zéro, appliquée à LFM2.5-8B-A1B.
Routage multi-experts pour l'OCR mandchou multi-domaines à faibles ressources
Un système d'OCR pour le mandchou historique combine plusieurs experts spécialisés et un routeur visuel pour gérer différents styles d'écriture.