Toutes les news taguées avec ce sujet.
UniPool remet en cause la convention MoE d'un pool d'experts par couche en proposant un réservoir global unique, réduisant la croissance des paramètres tout en améliorant la perplexité.