论文
AnchorGUI:GUI 导航中双尺度学习的非对称内存
AnchorGUI: Asymmetric Memory for Dual-Scale Learning in GUI Navigation
摘要
视觉语言模型 (VLM) 支持自主 GUI 导航,但智能体仍然难以处理密集、连续的视觉历史并从中学习。这一瓶颈既阻碍了单次尝试中的即时纠错(试验内),也阻碍了多次尝试中的经验蒸馏(交叉试验)。我们将这些挑战追溯到 GUI 导航中的经验信息不对称:虽然预期的转换通常可以压缩为轻量级文本摘要,但意外的结果受益于保留的屏幕截图作为准确诊断的因果证据。基于这一见解,我们提出了 AnchorGUI,这是一个由认知状态锚点(CSA)驱动的统一框架。 CSA 充当每步原语,主动比较预期和观察到的转换,将被动多模态轨迹转换为明确的预测误差信号。这些信号通过不对称记忆协调双尺度学习机制。对于试验内校正,滑动窗口有选择地保留检测到的不匹配的视觉证据,提供即时的、基于视觉的反馈。对于交叉试验蒸馏,这种不对称存储器将计算成本昂贵的信用分配搜索空间集中在可能的失败步骤上。四个基准的实验验证了我们方法的有效性。在 AndroidWorld 上,AnchorGUI 的成功率达到 57.3%,每步减少 2.4 美元\times$ 词元。此外,交叉试验蒸馏达到了 69.2% 的成功率(+11.9% 增益),显着优于标准反射方法,同时保持了亚线性上下文缩放。