Échantillonnage best-of-N au niveau du tour pour le passage à l'échelle des agents LLM

Les auteurs évaluent une approche de scaling à l'inférence fondée sur un best-of-N au niveau du tour pour les agents LLM. Un modèle générateur propose N actions candidates et un modèle sélecteur en choisit une, qui est exécutée dans l'environnement. Contrairement à des travaux antérieurs reposant sur des modèles critiques, l'étude teste des LLM open-weights standards comme comparateurs directs. Sur des tâches terminal à long horizon, la précision progresse de 5 à 10 % et la cohérence entre tentatives s'améliore, avec moins de tentatives, un meilleur suivi des consignes, plus de débogage et de tests.