论文

EE-MCP:通过自动化环境生成与经验学习实现自进化的MCP-GUI智能体

EE-MCP: Self-Evolving MCP-GUI Agents via Automated Environment Generation and Experience Learning

智能体系统Agent 工具调用智能体互操作协议MCP

摘要

通过模型上下文协议(Model Context Protocol, MCP)将GUI交互与结构化API调用相结合的计算机使用智能体,在自动化软件任务方面展现出前景。然而,现有方法缺乏对以下问题的原则性理解:智能体应如何权衡这两种模态,以及如何跨多样应用实现迭代式自我改进。我们将MCP-GUI交互形式化为一个统一的混合策略学习问题,其中智能体学习何时每种模态能提供互补优势,并表明蒸馏与经验增广针对的是根本不同的失败模式——因而需要应用感知的机制选择。基于这一形式化,我们提出一个自进化框架,其全自动流水线统筹自动环境生成与验证、轨迹收集、基于差距的任务合成以及质量过滤后的训练——全程无需人工干预。一项关键创新是经验库(experience bank),它从轨迹对比中积累LLM习得的规则,从而无需微调即可在推理时实现改进。跨三个桌面应用的系统性跨应用分析揭示,最优策略取决于MCP-GUI构成:蒸馏在MCP主导任务上取得77.8%的通过率(+17.8个百分点),而经验库在GUI密集型任务上表现更佳(+10.0个百分点)。