OSReward : évaluation standardisée des modèles de récompense

OSReward est un benchmark conçu pour évaluer la fiabilité des vision-language models (VLM) chargés de juger les trajectoires des computer-using agents (CUA). L'étude révèle que même les modèles SOTA présentent un biais de clémence systématique, surestimant les réussites. Les auteurs publient également le corpus OS-Shepherd-100K pour combler le fossé entre modèles coûteux et open-source.