Redéfinir les routeurs MoE avec la Manifold Power Iteration

Les auteurs proposent une refonte des routeurs dans les modèles Mixture-of-Experts (MoE) via la Manifold Power Iteration (MPI). Le principe : aligner chaque ligne de la matrice de routage sur la direction singulière principale de l'expert correspondant, offrant une description mathématique plus expressive. Le paradigme « Power-then-Retract » applique une itération de puissance puis une rétraction normée pour stabilité et efficacité. Des pré-entraînements de 1B à 11B paramètres valident l'approche.