论文

EchoPath:GUI智能体的执行级可回放记忆

EchoPath: Execution-Level Replayable Memory for GUI Agents

上下文与知识智能体系统记忆Agent HarnessAgent记忆

摘要

计算机使用智能体日益通过CLI或API操作浏览器与软件,但GUI在工业生产中仍重要。GUI智能体常每次重新观察、规划、定位、行动,对反复更新记录、填表、配置工具和导出报表的企业任务低效。我们提出独立于模型的Harness EchoPath,将经产物验证的GUI轨迹转换为标准化、参数可控的可调用记忆,类似MCP工具调用而非非结构化经验。每份记忆保存任务意图键、应用与状态前置条件、灵活输入参数、GUI证据、验证来源及生命周期状态,使宿主仅在当前运行时能确定性回放时调用目标流程。核心是基于图像的目标重瞄准算法:把存储坐标视为视觉证据,将记忆目标与当前屏幕匹配,执行前输出修正坐标。回放仅重绑定声明可修改的输入,对歧义或不兼容步骤拒绝执行,转入有界定位修复或新规划。真实计算机任务实验中,token成本中位数降低超过90%,执行时间中位数约降60%。结果支持有边界的企业GUI记忆:已验证经验可成为重复工作可控调用资产,而不只是下一次推理上下文。

EchoPath:GUI智能体的执行级可回放记忆:论文配图
图1:EchoPath架构总览。