完整截图记忆可能加剧GUI操作错误

图形用户界面 (GUI) 代理越来越多地用于跨应用程序、网站和操作系统自动执行复杂的计算机任务。为了提高其可靠性，最近的工作引入了经验记忆，智能体可以检索先前的轨迹来指导类似状态下的决策。最近的方法通过存储和检索过去交互的屏幕截图，进一步将这一想法扩展到视觉记忆，为代理提供比纯文本记忆更丰富的上下文信息。然而，人们对 GUI智能体 中视觉记忆的影响仍知之甚少：尚不清楚视觉记忆会减轻哪些失败，或者会加剧哪些失败。为了系统地分析视觉记忆的影响，我们引入了四种 GUI智能体 失败的分类法（即认知失败、视觉状态误解、遗漏未显示操作和视觉定位错误），它们映射到感知-推理-行动管道的不同阶段。我们发现在输入前加入完整截图记忆对故障分布有不同的影响：它减少了状态级故障，但恶化了动作级故障，并增加了遗漏未显示操作和视觉定位错误。受这一发现的启发，我们提出了基于动作的视觉记忆（AGMem），这是一种针对 GUI智能体 的基于动作的记忆框架。 AGMem 的核心思想是存储捕获与成功操作或恢复密切相关的局部GUI区域的图像裁剪，而不是存储完整的屏幕截图。 OSWorld 上的实验表明，AGMem 比全图像内存任务成功率相对提高33.3%。这些结果表明 AGMem 是 GUI智能体 中视觉记忆的有效表示。