沙丘社区
论文

EvoSkill-GUI：无需训练，通过执行反馈修订和复用GUI技能

Reflect, Revise, Reuse: Training-Free Skill Evolution for GUI Agents

Bofan Chen; Boxuan Zhang; Fei Tang; Zhengxi Lu; Yong Du; Tongbo Chen; Weiming Lu; Jun Xiao; Yueting Zhuang; Yongliang Shen
智能体系统Agent Skills

摘要

GUI 代理在动态图形用户界面上执行长期任务，其中弹出窗口、延迟加载和重新定位的小部件通常会使执行前固定的计划失效。最近的代理技能框架封装了可重用的程序知识来缓解这一问题，但现有的技能设计在很大程度上是在没有针对 GUI 执行动态的情况下开发的，并将技能视为部署前生成的静态工件，而不是通过它改进的实时程序知识。我们认为，GUI 代理需要的不是更好的静态技能，而是可以在部署时根据执行反馈进行修改的技能，无需额外训练。我们提出 \textbf{EvoSkill-GUI}，这是一个免训练框架，其中每个技能都是一个结构化的多文件包，其中包含检索元数据、可执行计划、备份本地化、故障恢复规则、可访问实用程序和故障案例。 EvoSkill-GUI 通过 \textbf{\emph{reflect-revise-reuse}} 循环进行操作：执行器执行即时的执行轨迹内修订，孤立的批评者在严格的信息隔离下诊断失败的轨迹，执行器通过受限的工具界面编辑特定的技能文件。跨越 MobileWorld、AndroidWorld 和 OSWorld 这三个跨越移动和桌面平台的主流 GUI 基准测试，EvoSkill-GUI 在无需任何训练的情况下持续改进多个基础模型，最大收益分别为 $+16.2\%$、$+6.0\%$ 和 $+10.5\%$，并且进化的技能库继续使相关任务受益，而不是从头开始重建。我们的代码可在 https://github.com/ZJU-REAL/EvoSkill-GUI 获取。