NVIDIA Nemotron 3.5 Lightning : modèle MoE pour agents

La logique derrière Nemotron 3.5 Lightning répond à un constat opérationnel : dans un agent IA persistant, la majorité des tokens ne servent pas à raisonner sur des problèmes complexes, mais à exécuter des tâches répétitives — appels d'outils, validation de résultats, formatage de sorties, délégation à des sous-agents. Faire tourner un modèle frontière de raisonnement pour chacune de ces étapes ajoute un coût et une latence disproportionnés par rapport à la valeur produite. NVIDIA positionne donc Lightning comme la couche d'exécution d'un système à plusieurs modèles, où des modèles comme Nemotron 3 Ultra gèrent la planification et l'orchestration complexes, pendant que Lightning traite le volume.

L'architecture MoE choisie (30B paramètres au total, 3B actifs par token) permet d'obtenir la capacité mémoire d'un modèle plus large tout en gardant un coût de calcul proche d'un petit modèle dense, grâce à un routeur interne qui n'active qu'une fraction des experts par token. Cette approche s'accompagne de plusieurs optimisations d'inférence : le decoding spéculatif, intégré dès le pré-entraînement via la prédiction multi-tokens (MTP), puis affiné lors d'une phase dédiée de "MTP-boosting". Deux modèles de brouillon (draft models), DSpark et DFlash, sont fournis pour s'adapter respectivement aux charges de faible concurrence sur DGX Spark et à d'autres scénarios de déploiement. Le modèle est également disponible en quantification NVFP4, en plus du BF16, avec des kernels partagés avec Nemotron 3 Ultra, permettant un déploiement identique du data center au poste de travail.

Sur le plan des performances, NVIDIA revendique un positionnement sur la frontière de Pareto précision-vitesse pour les modèles ouverts de petite taille, avec un débit de sortie jusqu'à 4x supérieur à des modèles de taille comparable. Sur PinchBench, benchmark axé sur l'exécution agentique, Lightning atteint 86% de précision tout en complétant 10 000 tâches 30% plus vite que Qwen3.6 35B à précision équivalente. NVIDIA insiste sur le fait que l'efficacité d'un agent ne se mesure pas uniquement à la vitesse de génération de tokens, mais à la rapidité avec laquelle une tâche utile est réellement achevée — une nuance qui déplace l'évaluation des benchmarks classiques de tokens/seconde vers des métriques de complétion de tâches.

L'introduction de NeMo Switchyard complète ce dispositif en formalisant l'orchestration multi-modèles : chaque requête peut être routée vers le modèle le plus efficace selon sa nature, les tâches de planification remontant vers des modèles frontière tandis que l'exécution redescend vers Lightning. Cette logique de routage, encore émergente dans l'industrie, illustre une tendance plus large où les développeurs ne misent plus sur un modèle unique mais construisent des systèmes hétérogènes optimisés coût/latence/précision selon l'étape du workflow.

Le modèle est publié sous licence OpenMDW-1.1, avec poids, données d'entraînement et recettes de fine-tuning (LoRA, SFT via NeMo Automodel, reinforcement learning via NeMo RL et NeMo Gym), incluant un jeu de données ouvert, Nemotron-RL Agentic Terminal Pivot, pour la partie codage agentique. Un écosystème de partenaires étoffé — fournisseurs d'inférence, frameworks d'agents (LangChain, OpenHands, Cline), plateformes cloud (SageMaker, Foundry, OCI) — accompagne le lancement, signe que NVIDIA cherche à ancrer Lightning comme brique standard des architectures agentiques plutôt que comme simple modèle isolé. Reste à voir comment ce modèle de routage multi-modèles se comportera à grande échelle en production, notamment en matière de cohérence des résultats lorsque plusieurs modèles collaborent sur une même tâche longue durée.