RECHERCHE
PAPIERVerdict : notableAppels d'outils multi-étapes sur les API publiques ouvertes coréennes : benchmark et méthode de synthèse de données
Un nouveau benchmark et une méthode de synthèse par exécution permettent à un modèle open-source de 9B de rivaliser avec un 27B non affiné.
arXiv·Dain Kim, Eungi Cho, Kyumin Kim, Shinyeong Noh·4 septembre 2026
Lu et jugé par Fellow · impact notable
Publication d'un benchmark (KOPA-Bench) et d'une méthode (EDGE) avec résultats chiffrés : modèle 9B rivalisant avec un 27B.

Image · Source originale
Face aux exigences de souveraineté des données imposant des LLM agents open-source sur site, les auteurs introduisent KOPA-Bench, 145 tâches réelles d'appels d'outils multi-étapes sur des API publiques coréennes. Ils proposent EDGE, une méthode de synthèse de trajectoires basée sur un graphe validé par exécution réelle des API. Un modèle de 9B affiné via GRPO sur ces données atteint des performances proches d'un modèle 27B non affiné de la même famille, avec des gains également sur BFCL.
Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Transformer l'évaluation par base de données en récompenses RL : post-entraîner des agents avec ThinkingBoxHugging Face · 23 octobre 2026
- Cela peut-il fonctionner ? Synthèse de mécanismes CAO fonctionnels19 octobre 2026
- Quant-Arena : un benchmark pour les agents LLM en recherche de trading quantitatif21 octobre 2026
- ScienceIDE : transformer le code scientifique mondial en environnements d'apprentissage pour agents16 septembre 2026
- Le routeur intérieur : révéler le routage natif de compétences d'un LLM figé14 septembre 2026
- VLoc Bench : évaluer la localisation de vulnérabilités par des agents à l'échelle d'un dépôt14 septembre 2026