下一个屏幕截图知道：移动 GUI智能体的门控后见之明蒸馏

摘要

GUI智能体通常是根据成功的交互轨迹进行离线训练的。标准训练将每个轨迹分解为前缀动作对：代理根据当前屏幕和交互历史记录预测动作，而随后的观察被丢弃。这消除了操作正确的理由：证据通常只出现在随后的屏幕上。例如，要启用 Soft Wrap，代理应单击“编辑”或“查看”，但在菜单打开之前不会显示任何内容。如果没有这样的证据，标准模仿就几乎没有机会让模型进行采样，从而学习正确的推理。为了解决这个问题，我们提出了 Gated Hindsight 蒸馏 (GHD)，它在训练期间使用下一个屏幕截图作为特权信息。学生根据可观察的轨迹前缀进行预测，而参数共享教师另外观察下一个屏幕截图并对学生的同策略响应重新评分。仅当学生失败并且后见之明的教师恢复所演示的动作时，我们才应用蒸馏。在 AndroidWorld 和 AndroidLab 上，GHD 在两种视觉语言模型上比 GRPO 提高了任务成功率。代码和检查点将可用。