Repenser l'exploration du routage dans les Mixture-of-Experts modernes

Les architectures MoE modernes combinent segmentation fine des experts et experts partagés. Les auteurs identifient un dilemme d'exploration : les experts partagés réduisent la variabilité des représentations de tokens, ce qui limite l'exploration du routage alors que la segmentation fine l'exige davantage. MirrorMoE réduit l'espace d'exploration par une suppression adaptative des experts inutiles selon le token, et améliore les performances à différentes échelles de modèles.