EMO : pré-entraînement d'un mixture of experts pour une modularité émergente

EMO (Emergent Modularity with MoE) est une méthode de pré-entraînement développée par AllenAI qui exploite les architectures Mixture of Experts pour induire une spécialisation modulaire émergente des experts, sans recourir à des labels de routage supervisés. L'approche vise à améliorer l'efficacité et l'interprétabilité des grands modèles de langage en permettant aux experts de se spécialiser spontanément sur différents types de connaissances ou de tâches.