论文

MAGNET:迈向记忆驱动知识进化的自适应GUI智能体

MAGNET: Towards Adaptive GUI Agents with Memory-Driven Knowledge Evolution

上下文与知识记忆Agent记忆

摘要

由大型基础模型驱动的移动GUI智能体能够自主执行任务,但频繁的更新改变UI外观并重组工作流,导致基于历史数据训练的智能体失效。尽管表面变化,功能语义和任务意图在根本上保持稳定。基于这一洞见,我们提出MAGNET,一个记忆驱动的自适应智能体框架,具有双层记忆:将多样视觉特征链接到稳定功能语义的平稳记忆,用于稳健的动作接地;以及捕捉跨不同工作流稳定任务意图的程序记忆。我们提出动态记忆进化机制,通过优先考虑频繁访问的知识来持续精炼两类记忆。在线基准AndroidWorld的评估显示相较基线的显著提升,离线基准确认在分布偏移下的一致增益。这些结果验证了利用界面变化中的稳定结构可提升智能体在不断演化的软件环境中的性能与泛化。

MAGNET:迈向记忆驱动知识进化的自适应GUI智能体
图3:静态记忆(stationary memory)的构建流水线。每个新生成的条目 ⟨d_i, v_i⟩ 都会通过检索相似的功能描述与对应的 UI 元素补丁来对照静态记忆进行检查。若检测到重复条目,则将其丢弃以避免冗余。