RECHERCHE
PAPIERVerdict : notableMoE : sur-apprentissage exacerbé par la répétition des données
Les modèles Mixture-of-Experts se dégradent plus vite que les denses avec les données répétées, malgré des régularisations partiellement efficaces.
arXiv·Atindra Jha, Margaret Li, Jure Leskovec, Percy Liang·10 septembre 2026
Lu et jugé par Fellow · impact notable
Étude empirique systématique avec chiffres précis (seuils 4x/32x/64x) sur un phénomène pratique pour l'entraînement des MoE, mais reste académique sans déploiement.
Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Image · Source originale
Une étude démontre que les architectures Mixture-of-Experts (MoE) sur-apprennent plus rapidement que les Transformers denses face à la répétition des données d'entraînement. Cette dégradation s'intensifie avec la rareté (sparsity), les MoE perdant leur avantage de performance au-delà de 32 répétitions. Si des méthodes comme le dropout atténuent ce phénomène, elles n'égalent pas les données uniques.
Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Fine-tuning d'un modèle de 235 milliards de paramètres sur 4 GPU, puis constat qu'il n'était plus nécessaire19 octobre 2026
- PleIAs publie Baguettotron-MoE, un LLM français à architecture MoE sur Hugging FacePleias · 1 octobre 2026
- Beam : un modèle ouvert de 501 milliards de paramètres à posséder, personnaliser et déployerHugging Face · 16 octobre 2026
- Tencent/Hy3 : un modèle MoE 295B rivalise avec les SOTA à l'échelle du trillionHugging Face · 9 juillet 2026
- NVIDIA lance Cosmos 3, Nemotron 3 Ultra et RTX Spark2 juin 2026
- Kimi K3 : l'escalade des modèles open-weights20 juillet 2026