面向GUI智能体的混合自演化结构化记忆

视觉语言模型（VLM）的显著进步使GUI智能体能以类人方式与计算机交互。但真实计算机使用任务仍因长程工作流、多样接口与频繁中途错误而困难。已有工作用大规模轨迹集合构建外部记忆，但依赖离散摘要或连续嵌入的平面检索，缺乏人类记忆的结构化组织与自演化特性。受大脑启发，我们提出混合自演化结构化记忆（HyMEM）：把离散高层符号节点与连续轨迹嵌入耦合的图式记忆。HyMEM以图结构支持多跳检索、经节点更新操作自演化，以及推理期间即时刷新工作记忆。大量实验显示HyMEM持续提升开源GUI智能体，使7B/8B骨干匹敌或超越强闭源模型；尤其为Qwen2.5-VL-7B带来+22.5%，并胜过Gemini2.5-Pro-Vision与GPT-4o。