Mixture of Experts (MoE)

Modèle ouvert de 501B paramètres sous Apache 2.0 réellement disponible (BF16, FP8, NVFP4), avec support day-0 transformers/vLLM/SGLang, benchmarks détaillés et recettes SFT/RL.

Meta publie les poids d'un modèle MoE multimodal de 816B paramètres (42B actifs, contexte 1M), disponible sur Hugging Face avec support transformers, vLLM, SGLang et llama.cpp.

Modèle 763B effectivement disponible avec nouvelle architecture encodeur-décodeur, vision native et benchmarks indépendants confirmant des performances supérieures à V4 Pro.

DeepSeek ouvre le code de DeepInfer, le framework d'inférence de ses services en production : kernels optimisés, parallélisme MoE, sampling déterministe et sorties structurées.

L'équipe PyTorch de Hugging Face détaille PyTorch 2.15 : FP8 sur Mac, décodage MoE 5 à 6,5× plus rapide et kernels Metal qui réduisent fortement la mémoire du décodage vidéo.

Vertexcover a fine-tuné Qwen3-235B-A22B-Thinking sur quatre H100 : +7,6 points de F1 en moyenne par rapport au modèle de base, pour un coût par token d'environ un tiers de celui des API. Le modèle n'a pas été déployé.

Ce moteur d'inférence fait tourner Qwen3.8-Flash-Next (125B MoE) en NVFP4 sur deux RTX 5070 Ti de 16 Go, avec une API compatible OpenAI et Anthropic pensée pour les agents.

Reflection, nouveau laboratoire américain, publie Beam, un MoE de 501B paramètres sous Apache 2.0, orienté code et agents, avec contexte de 1M tokens et support day-0 dans transformers, vLLM et SGLang.

NVIDIA présente Nemotron 3.5 Super VL, un modèle multimodal ouvert et personnalisable, à architecture MoE de 120B paramètres, conçu pour les agents d'entreprise en fonctionnement continu.

Des chercheurs identifient un dilemme d'exploration entre experts partagés et segmentation fine dans les MoE, et proposent MirrorMoE pour le résoudre.

Des chercheurs proposent une méthode de post-training pour l'optimisation autonome de projets de machine learning sur le long terme, appliquée à MLExpert, un modèle MoE de 35B paramètres.

Meta publie Muse Spark Open, un modèle mixture-of-experts d'environ 816 milliards de paramètres, multimodal, doté d'un contexte d'un million de tokens et conçu pour le codage agentique.

Liquid AI présente LFM2.5-24B-A2B, un modèle de raisonnement MoE de 24 milliards de paramètres dont 2 milliards actifs, conçu pour exécuter des agents en local.

Ce moteur d'inférence en C diffuse les experts des modèles MoE depuis le SSD et revendique 24 tok/s en génération sur Qwen3-Next-80B avec 32 Go de mémoire, contre 2,8 pour llama.cpp.

reViT applique un unique bloc Transformer de façon récurrente et atteint la précision d'un encodeur vision pleine profondeur, avec environ 70 % de paramètres stockés en moins.

Le laboratoire chinois StepFun dévoile discrètement Step 5 Preview, un modèle MoE avec une fenêtre de contexte d'un million de tokens, désormais accessible via l'agrégateur OpenRouter.

Après plus d'un an de silence, le neolab Reflection dévoile Beam, un MoE entraîné from scratch, positionné face à GLM, Kimi et DeepSeek.

Allen Institute for AI publie Olmo-core 3, une infrastructure open source conçue pour entraîner des modèles Mixture-of-Experts à grande échelle.

Le laboratoire français PleIAs met en open-weights son premier modèle de langage à architecture Mixture of Experts, entraîné sur des données souveraines.

NVIDIA détaille l'entraînement des architectures Mixture-of-Experts pour les modèles fondation en biologie, une alternative aux transformers denses trop coûteux à scale.

Le fabricant chinois de smartphones surprend en dévoilant un modèle frontière natif omnimodal, avec des variantes Flash et UltraSpeed.

Une étude évalue comment le pruning affecte les appels d'outils contextuels sur plusieurs architectures et niveaux de complexité.

NVIDIA détaille les compromis entre architectures denses et Mixture-of-Experts, à travers l'exemple de Nemotron 3.5 Lightning.

NVIDIA détaille une optimisation technique pour entraîner des modèles Mixture of Experts sans perte de tokens, via son Transformer Engine intégré à JAX.

DeepSeek lance une nouvelle architecture causale hybride 763B-P8B-D16B avec vision, remplaçant V4 Pro.

ESRL est un nouveau cadre qui optimise l'exploration des modèles MoE via le routage stochastique.

Les modèles Mixture-of-Experts se dégradent plus vite que les denses avec les données répétées, malgré des régularisations partiellement efficaces.

NVIDIA détaille une technique d'optimisation d'inférence qui sépare l'encodage visuel du prefill et du decode, avec des gains jusqu'à 5x.

Un système de compréhension documentaire basé sur un VLM MoE compact réduit les coûts de plus de 80% face à l'annotation humaine, tout en battant des modèles bien plus gros.

Une étude contrôlée évalue 13 modèles Qwen et GPT pour déterminer l'influence de la taille sur l'apprentissage d'ontologies.

NVIDIA dévoile Nemotron 3.5 Lightning, un modèle open-weights optimisé pour l'exécution rapide des tâches des agents IA.

Un modèle MoE de 20 milliards de paramètres, optimisé via ternarisation, tourne localement sur iOS.

Cursor publie un megakernel optimisé pour les architectures Mixture-of-Experts sur clusters NVIDIA NVL72, en open source.

VI-MoLE optimise le routage dans les mélanges d'experts LoRA via l'allocation de valeur de l'information certifiée.

MMOE adapte les principes des MoE de LLM aux modèles de diffusion pour améliorer convergence et qualité.

Tests de performance du modèle Qwen 3.6 35B MoE (3B actifs) exécuté localement sur carte graphique NVIDIA RTX 3090.

Le laboratoire chinois Moonshot AI met en ligne sur Hugging Face une nouvelle famille de modèles multimodaux légers à architecture MoE.

Avec DeepSeek-V3 671B, NVIDIA atteint 1 648 TFLOPs par GPU sur GB300 NVL72, illustrant l'importance croissante de la communication inter-GPU.

Moonshot AI dévoile Kimi K3, un modèle MoE de 2,8T paramètres performant, dont les poids seront ouverts le 27 juillet.

Une nouvelle méthode de gestion mémoire pour les modèles MoE promet jusqu'à 72% d'économies GPU sans perte de précision.

Thinking Machines Lab dévoile Inkling, un modèle MoE multimodal open Apache 2.0, accompagné d'une version légère Inkling-Small.

Le laboratoire chinois Moonshot AI met en ligne sur Hugging Face une collection de modèles baptisée Kimi-Linear-A3B.

Cette approche remplace les décodeurs autoregressifs par un modèle de diffusion discret entraîné sur seulement 0,16 % des paramètres.

Tencent publie Hy3, un modèle MoE de 295 milliards de paramètres qui affiche des performances comparables aux modèles de taille trillion.

Agents-A1 démontre qu'élargir l'horizon agentic d'un modèle MoE 35B suffit à rivaliser avec des LLM mille fois plus grands.

NVIDIA frappe fort avec un modèle omnimodal Mixture-of-Transformers, un LLM 550B open-weights et un superchip personnel d'un pétaflop.

Le modèle TML-Interaction-Small de Thinking Machines repousse l'état de l'art de la voix interactive en temps réel avec une architecture MoE encoder-free.

DeepSeek publie son premier grand modèle depuis V3 et R1, un MoE de 1,6T paramètres entraîné sur 32T tokens avec context de 1M tokens.

DeepSeek publie deux modèles open-weights en preview — V4-Pro (1,6T paramètres) et V4-Flash — avec des tarifs très agressifs.

DeepSeek publie DeepSeek-V3.1 sur Hugging Face, une mise à jour de son grand modèle de langage open-weights.