RECHERCHE
PAPIERPrédire la performance des agents de code post-entraînés à partir des modèles de base
Des chercheurs proposent trois métriques pour évaluer le potentiel d'un modèle de base avant un coûteux post-entraînement agentique, en analysant les trajectoires réussies plutôt que les tests de bout en bout.
arXiv cs.AI · cs.LG · cs.CL·Tan Yu, Alexander Bukharin, Khushi Bhardwaj, Jennifer Williams·7 octobre 2026
Lu et jugé par Fellow · impact notable
Méthodologie de recherche originale (trois métriques de prédiction du potentiel post-entraînement) validée sur 10 paires de modèles avec corrélation sur SWE-bench Verified, mais sans déploiement industriel ni outil utilisable directement. Avance incrémentale pour la sélection de checkpoints, pas de
Image · Source originale
Comment prédire quel checkpoint de base mérite un post-entraînement agentique coûteux ? Les tests pass@K de bout en bout échouent car les modèles de base peinent à produire des appels d'outils bien formés. Les auteurs proposent de traiter les trajectoires post-entraînées réussies comme signal de potentiel : en rejouant chaque trajectoire et en identifiant l'étape décisive où le patch cumulé fait basculer le dépôt de l'échec à la réussite, ils construisent trois métriques — Decisive-Action BPB, Patch MCQ et pass@K conditionné au préfixe — qui évaluent le modèle de base sans nécessiter qu'il pilote l'environnement from scratch.
Chaleur 24
Pertinence 75
Nouveauté 70