论文

DeltaReplay:按当前任务逐步复用移动GUI记忆

DeltaReplay: Task-Relative Memory Reuse for Mobile GUI Agents

上下文与知识智能体系统记忆Agent 环境交互

摘要

内存增强型移动 GUI 代理会存储成功的执行轨迹并在以后的任务中重用它们,但存储的轨迹很少与新任务完全匹配。新任务可能使用不同的参数,仅与存储的轨迹共享其部分步骤,或者在内存中没有相关记录。强迫智能体使用不相关的记忆可能会误导它,而丢弃可能仍然有用的记忆会使其失去过去经验的指导。为了解决这个困境,我们提出了 DeltaReplay,这是一个步进级内存重用框架,它决定如何在不修改现有内存的情况下使用它。我们观察到,存储记录的可重用部分不是由记录本身决定,而是由其与新任务的关系决定,主要通过两个因素:页面级一致性和操作级通用性。因此,我们将执行轨迹存储为转换图中的路径,其节点(页面)和边缘(页面之间的操作)捕获这两个因素。在重用时,每条边上的操作被分为与任务无关的操作和特定于任务的参数。然后DeltaReplay 将每个记录的步骤与新任务和当前屏幕进行比较,并决定是遵循它、替换其参数后执行它,还是将其留给基础代理。在 AndroidWorld 和 SPA-Bench 上,DeltaReplay 与具有相同主干的基础代理相比,任务成功率分别提高了 10.3 和 25.0 个百分点。这些结果表明,在每一步决定如何使用检索到的记忆,甚至可以让智能体从部分匹配的轨迹中受益。