论文
信任对的老师:GUI 定位的质量感知自蒸馏
Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding
摘要
图形用户界面(GUI)锚定要求视觉语言模型(VLM)在高分辨率截图中识别小目标元素并预测精确屏幕坐标。自策略自蒸馏(OPSD)是该坐标敏感任务的有前景后训练方法——它提供超出硬坐标标签的密集token级教师信号。但朴素OPSD并不适合GUI 定位:OPSD在学生生成的前缀上评估教师——当前缀已偏离目标坐标时——坐标token教师信号的质量可能退化——导致教师信号不可靠。为缓解——我们提出面向基于VLM的GUI 定位的质量感知自蒸馏——经软正确性感知门控与教师概率缩放改进坐标token教师信号质量。软正确性感知门检查教师的当前坐标token预测在学生生成前缀下能否仍被补全进真值框。若不能——相应教师信号被降权。教师概率缩放随后以教师置信度为轻量因子进一步校准被门控监督的强度。一个关键经验发现是:任一组件单独都不能改进总体性能——而组合则持续改进性能。这表明两机制起互补作用:正确性感知门抑制不可靠坐标token监督——教师概率缩放校准剩余信号的强度。跨六个GUI 定位基准的实验表明我们的方法持续改进基座模型——并超越强基线。
