Les routeurs apprennent la géométrie de leurs experts dans les modèles SMoE

Des chercheurs analysent mécaniquement la formation des décisions de routage dans les modèles Sparse Mixture-of-Experts (SMoE). Ils révèlent un couplage géométrique entre routeurs et experts : pour un token donné, les gradients s'accumulent dans la même direction, alignant l'historique des tokens traités. Les pertes d'équilibrage de charge (auxiliary losses) brisent ce couplage en rendant les directions de routage trois fois plus similaires entre elles. Un routeur K-Means sans paramètres supplémentaires confirme la centralité de ce couplage pour un routage efficace.