RECHERCHE
Auto-évolution en test-time pour le grounding visuel GUI via distillation guidée par réflexion
Un framework permet aux agents GUI de s'améliorer après déploiement sur des interfaces inconnues, sans annotation humaine, via un cycle exploration-réflexion-internalisation.
arXiv cs.AI · cs.LG · cs.CL·Shiyu Xuan, Zechao Li·11 août 2026
Image · Source originale
Les modèles de grounding visuel pour agents GUI restent figés après déploiement, limitant leur adaptation aux nouvelles interfaces. Les auteurs proposent un framework en boucle fermée (exploration, évaluation, réflexion, internalisation) utilisant un Reflector basé MLLM et une distillation on-policy auto-supervisée. Une méthode de calibration contrastive évite que des explorations échouées ne corrompent le signal d'apprentissage. Le framework améliore la précision de 7,4% en moyenne sur six benchmarks.
Chaleur 0
Pertinence 55
Nouveauté 72