OpenSeeker-v2 : un agent de recherche frontier entraîné par SFT seul

La recherche en deep search pour agents LLM a longtemps été perçue comme le domaine exclusif des acteurs industriels disposant de ressources computationnelles massives. Le pipeline standard implique successivement du pre-training, du continual pre-training (CPT), du supervised fine-tuning (SFT), puis du reinforcement learning (RL). OpenSeeker-v2, développé par une équipe purement académique de l'Université Shanghai Jiao Tong, remet en cause cette orthodoxie en démontrant qu'un SFT seul, correctement alimenté, peut rivaliser et surpasser des systèmes issus de cette chaîne complète.

Le cœur de la contribution réside dans trois modifications appliquées à la synthèse de données d'entraînement. Première modification : l'agrandissement du graphe de connaissances utilisé pour générer les trajectoires, ce qui permet une exploration thématique plus riche et diversifiée. Deuxième modification : l'extension du jeu d'outils disponibles pour l'agent lors de la génération des trajectoires, afin d'élargir l'espace fonctionnel couvert. Troisième modification, probablement la plus contre-intuitive : un filtrage strict éliminant les trajectoires à faible nombre d'étapes. Ce dernier choix oriente délibérément l'entraînement vers des exemples à haute difficulté, où l'agent doit enchaîner de nombreuses actions de recherche et de raisonnement avant de converger vers une réponse.

Ces trois leviers combinés produisent un jeu de seulement 10 600 exemples d'entraînement. Le modèle résultant, de taille 30B et opérant selon le paradigme ReAct, atteint 46,0 % sur BrowseComp, 58,1 % sur BrowseComp-ZH (sa version chinoise), 34,6 % sur Humanity's Last Exam et 78,0 % sur xbench. À titre de comparaison, Tongyi DeepResearch d'Alibaba, entraîné via le pipeline complet CPT+SFT+RL, obtient respectivement 43,4 %, 46,7 %, 32,9 % et 75,0 % sur ces mêmes benchmarks. OpenSeeker-v2 le surpasse sur les quatre métriques.

Humanity's Last Exam est particulièrement notable comme point de référence : conçu pour résister aux LLM actuels avec des questions issues des disciplines les plus pointues, il constitue un signal fiable de capacité de raisonnement profond combiné à la recherche multi-étapes. Un score de 34,6 % sur ce benchmark pour un système entraîné exclusivement par SFT sur 10 600 points représente un résultat qui mérite attention dans la communauté.

La portée de ce travail dépasse la simple performance. En démontrant qu'une équipe académique peut atteindre le niveau frontier sans CPT ni RL, les auteurs soulèvent une question structurelle sur la nécessité des pipelines lourds pour les agents de recherche : est-ce la complexité du pipeline qui confère la performance, ou la qualité et la difficulté des données d'entraînement ? OpenSeeker-v2 plaide clairement pour la seconde hypothèse, au moins dans la fenêtre de capacités explorée ici.

Cette démocratisation potentielle est explicitement assumée par les auteurs, qui publient les poids du modèle en open-source. L'accessibilité à la communauté académique de systèmes frontier pour la recherche agentique ouvre des perspectives pour des travaux qui nécessitaient jusqu'ici des infrastructures industrielles.

Plusieurs questions restent ouvertes. Les gains observés sont-ils spécifiques à la taille 30B, ou se maintiennent-ils à d'autres échelles ? Le filtrage strict par nombre d'étapes introduit un biais de sélection vers la complexité : cette stratégie atteint-elle un plafond au-delà d'un certain nombre d'exemples filtrés ? Enfin, la comparaison avec Tongyi DeepResearch est directe sur les benchmarks publics, mais les détails du pipeline RL de ce dernier ne sont pas entièrement publiés, ce qui laisse une part d'incertitude sur l'équité stricte de la comparaison.

Ce que retient l'article, c'est avant tout une démonstration d'efficacité de données sur l'efficacité de pipeline : pour les agents de recherche, la qualité informationnelle et la difficulté des trajectoires d'entraînement semblent être des variables plus déterminantes que la sophistication du processus d'optimisation post-SFT.