Auto-évolution en test-time pour le grounding visuel GUI via distillation guidée par réflexion

Les modèles de grounding visuel pour agents GUI restent figés après déploiement, limitant leur adaptation aux nouvelles interfaces. Les auteurs proposent un framework en boucle fermée (exploration, évaluation, réflexion, internalisation) utilisant un Reflector basé MLLM et une distillation on-policy auto-supervisée. Une méthode de calibration contrastive évite que des explorations échouées ne corrompent le signal d'apprentissage. Le framework améliore la précision de 7,4% en moyenne sur six benchmarks.