Vos experts ont des partenaires : HOPE pour les garder ensemble lors de l'élagage des MoE

Amazon présente HOPE (Higher-Order Pruning of Experts), méthode de second ordre pour élaguer les experts des LLM Mixture-of-Experts en tenant compte des interactions par paires, là où les méthodes existantes notent chaque expert indépendamment. À 50 % d'élagage, HOPE obtient le meilleur rang moyen, avec jusqu'à +6,1 % sur des tâches de code agentique face à la meilleure méthode concurrente. Elle ne nécessite pas d'entraînement et se combine avec la quantization.