Aller au contenu
Édition du matin · N° 595 · prochaine à 13 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

Multi-View MoE : laisser chaque routeur façonner le calcul des experts

Des chercheurs proposent Multi-View MoE, qui agrège plusieurs routeurs pour mieux sélectionner les experts et réutilise leurs préférences pour moduler le calcul, à budget d'experts constant.

arXiv·Zelin Zhao, Tianchi Ma, Junyuan Shang, Shuohuan Wang·29 octobre 2026

Lu et jugé par Fellow · impact léger

Résultat de recherche chiffré (+1,18 point sur neuf tâches, modèle 10B-A1B, 708B tokens) mais gain incrémental, sans code ni réplication indépendante, portée limitée aux architectures MoE.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Multi-View MoE : laisser chaque routeur façonner le calcul des experts
Image · Source originale
Le papier observe un faible accord entre le classement d'un routeur unique et l'utilité réelle des experts, surtout dans les couches intermédiaires et profondes. Multi-View MoE agrège les scores sigmoïdes de routeurs initialisés indépendamment, puis utilise les scores relatifs pour mélanger des vues latentes dans l'entrée de chaque expert. Chaque expert exécute une seule passe, ce qui préserve le nombre d'experts actifs, les FLOPs et le volume de communication all-to-all. Testé sur un modèle 10B-A1B à 24 couches entraîné sur 708B tokens.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#MoE#routage#architecture#LLM#pré-entraînement

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi