STAMP：在可控和可扩展的虚拟环境中训练移动 GUI智能体 显式内存

移动 GUI智能体 擅长即时反应控制，但在需要内存的现实、长期任务中经常失败。这种失败源于有限的上下文窗口和大量词元的屏幕截图之间的根本冲突。为了保存有限的上下文，智能体必须逐步丢弃旧的视觉历史记录，从而永久丢失关键的瞬态信息。此外，现有的以动作为中心的数据集无法教导智能体明确记忆什么或何时记忆，并且增强静态现实世界数据的成本高昂且缺乏交互式验证。为了解决这个问题，我们提出了 STAMP，一个通过可控虚拟环境在移动代理中训练显式记忆的框架，其中确定性记忆变量以编程方式注入到合成任务中，以控制必须记住的内容、何时应该编码以及稍后必须检索的内容，从而大规模生成可验证的监督数据，并通过环境驱动的奖励反馈实现在线强化学习。根据我们新推出的 Memory-World 基准进行评估，最终的 Stamp-GUI智能体 在 GUI 专用模型中实现了最先进的性能，并在我们的 Memory-World 基准上创下了新的高水平，展示了卓越的内存准确性和任务弹性，同时保持了强大的通用移动导航功能。