论文
测试时自我进化:提升无需人工标签的GUI定位适配
Test-Time Self-Evolving GUI Visual Grounding via Reflection-Guided On-Policy Self-Distillation
摘要
GUI视觉定位是智能体的基础能力,但模型部署后通常冻结参数,难以适应未见界面。现有测试时强化学习方法也未充分利用失败探索中的反思。本文提出无需人工真实标签的测试时自我进化框架,构成探索、评估、反思与内化闭环。智能体先按指令预测界面坐标并探索,多模态反思器评估结果、给出推理反馈,再由反思引导的同策略自蒸馏,通过条件自教师把高层推理转为密集词元监督,以更新模型权重。对比校准避免失败探索的错误自回归前缀污染监督信号。六个基准上,平均准确率比基础模型提高7.4%。该研究探索用同策略自蒸馏实现GUI定位的测试时适配,代码将发布。