论文

CUA-Skill:为计算机使用智能体开发技能

CUA-Skill: Develop Skills for Computer Using Agent

智能体系统上下文与知识记忆Agent HarnessAgent SkillsAgent记忆

摘要

计算机使用智能体(CUA)旨在自主操作计算机系统以完成真实任务。然而,现有Agentic系统仍难以规模化,且落后于人类表现。一个关键局限是缺乏可复用、结构化的技能抽象,无法捕捉人类如何与图形用户界面交互以及如何利用这些技能。我们提出CUA-Skill,一个计算机使用Agentic技能库,将人类计算机使用知识编码为技能,并配套参数化执行与组合图。CUA-Skill是一个覆盖常见Windows应用、精心工程化的大规模技能库,作为可扩展、可靠智能体开发的实用基础设施和工具基底。基于该技能库,我们构建了CUA-Skill Agent,一个支持动态技能检索、参数实例化和记忆感知失败恢复的端到端计算机使用智能体。我们的结果表明,CUA-Skill在具有挑战性的端到端智能体基准上显著提升执行成功率和鲁棒性,为未来计算机使用智能体开发奠定坚实基础。在WindowsAgentArena上,CUA-Skill Agent取得最先进的57.5%(三次最佳)成功率,同时比先前和同期方法显著更高效。项目页面见 https://microsoft.github.io/cua_skill/。

CUA-Skill:为计算机使用智能体开发技能
图2:CUA-Skill 及相关 Skill-Agent 概览。