PastForward：通过计算体验重用实现更快的设备上 GUI Agent

在边缘设备上运行 GUI Agent可以将敏感屏幕和交互历史记录保留在本地，但每个操作步骤的推理计算成本使得部署具有挑战性。现有的 GUI Agent系统要么在每个操作步骤执行完整的视觉语言模型 (VLM) 推理，要么重用与先前任务匹配的粗粒度知识。然而，动态移动环境和用户任务使得在没有额外微调或特定于任务的离线探索的情况下很难充分利用先前的任务执行。为了应对这一挑战，我们引入了 PastForward，这是一个通过验证、细粒度重用普通任务执行过程中积累的计算经验来加速 GUI Agent的系统。在解码过程中，PastForward 检索先前的输出序列作为设备自适应多词元提议，并在单个 VLM 前向传递中验证它们。在各个操作步骤中，它在设备执行当前操作时使用先前的 GUI 转换来开始下一步推理，仅当预测屏幕与观察到的屏幕匹配时才保留早期计算，并向前传送可重用的 KV 状态。我们使用跨服务器和边缘平台的多个 VLM 主干，在源自真实移动使用模式的 AndroidWorld 工作负载上评估 PastForward。在设备上，PastForward 在保持任务成功率的同时实现了 1.63-2.36$\times$ 的操作步骤延迟加速。