Performances de modèles à 1 000 milliards de paramètres avec un agent MoE de 35 milliards

La question centrale que soulève Agents-A1 est la suivante : pour améliorer les capacités d'un agent, faut-il nécessairement augmenter le nombre de paramètres, ou peut-on obtenir des résultats équivalents en allongeant et en enrichissant les trajectoires que le modèle est capable de produire ? L'équipe de recherche, composée de cinquante auteurs, apporte une réponse empirique : la mise à l'échelle de l'horizon agentic constitue une voie alternative crédible, au moins sur les tâches long-horizon.

Le modèle repose sur une architecture Mixture-of-Experts de 35 milliards de paramètres. L'originalité ne réside pas dans cette architecture en elle-même, désormais largement répandue, mais dans la manière dont les données d'entraînement et le pipeline de distillation ont été conçus pour maximiser la longueur et la diversité des trajectoires. L'infrastructure dite « long-horizon knowledge-action » articule des sources de connaissance externes, des actions, des observations et des résultats de vérificateurs pour produire des trajectoires d'une longueur moyenne de 45 000 tokens. Cette densité dépasse nettement les standards habituels du fine-tuning d'agents et constitue le premier pilier de la recette.

La recette d'entraînement en trois étapes est structurante. La première phase consiste en un supervised fine-tuning couvrant l'ensemble des domaines, destiné à aligner le modèle de base sur un comportement agentic général. La deuxième phase introduit des modèles enseignants spécialisés par domaine, chacun étant entraîné à capturer une expertise sectorielle fine. La troisième phase, la plus originale, repose sur une distillation on-policy multi-enseignants avec routage par domaine et alignement du vocabulaire saillant. Ce mécanisme cherche à maximiser le transfert de connaissance depuis des modèles hétérogènes vers un unique modèle déployable, sans que la fusion entre domaines n'effface les spécialisations acquises. Le terme « salient vocabulary alignment » désigne ici une technique d'alignement lexical ciblant les tokens les plus informatifs pour chaque domaine, réduisant ainsi le bruit lors de la distillation croisée.

Les résultats sur les benchmarks long-horizon sont ce qui motive la comparaison avec des modèles bien plus volumineux. Agents-A1 obtient un score de 56,4 sur SEAL-0, 80,6 sur IFBench, 46,4 sur HiPhO, 79,0 sur FrontierScience-Olympiad et 56,8 sur MolBench-Bind. Sur ces cinq benchmarks, les auteurs affirment que le modèle dépasse ou égale Kimi-K2.6 et DeepSeek-V4-pro, deux modèles dont la taille est estimée à l'échelle du trillion de paramètres. Sur d'autres benchmarks mentionnés — SciCode (44,3), HLE (47,6) et BrowseComp (75,5) — la compétitivité est qualifiée de « très élevée » sans revendiquer la première place.

Plusieurs questions restent ouvertes à la lecture de cette publication. Les benchmarks retenus sont par définition long-horizon : ils favorisent structurellement l'approche défendue par les auteurs. Les performances d'Agents-A1 sur des tâches courtes ou à horizon fixe ne sont pas discutées, ce qui rend difficile l'évaluation de la généralité de l'approche. Par ailleurs, la comparaison avec des modèles à 1 000 milliards de paramètres suppose que la taille de ces modèles soit effectivement connue et stable, ce qui n'est pas toujours le cas pour des systèmes commerciaux ou semi-ouverts comme Kimi-K2.6. La reproductibilité est partiellement assurée : les checkpoints du modèle et la base de code d'évaluation sont publiés, ce qui constitue un point positif pour la communauté.

Du point de vue des implications pratiques, Agents-A1 illustre une tendance observable depuis plusieurs mois : l'optimisation du pipeline de données et d'entraînement tend à compenser, au moins partiellement, les avantages bruts liés à la taille du modèle. Pour les organisations disposant de ressources d'inférence limitées, un modèle MoE de 35 milliards de paramètres avec ces capacités représente un gain d'accessibilité significatif sur les tâches de planification, de raisonnement multi-étapes et de navigation en environnement ouvert. La question de savoir si cette parité se maintient à mesure que les très grands modèles continuent d'évoluer reste entière.