OSExpert：通过探索学习专业技能的计算机使用智能体

通用计算机使用智能体在多样数字环境中展现出令人印象深刻的表现。然而，我们的新基准OSExpert-Eval表明，它们仍远不如人类专家有用。尽管推理时扩展能带来适应能力，这些智能体完成复杂任务时效率低下且性能下降，向未见过的UI迁移能力差，并难以处理细粒度动作序列。为解决该问题，我们提出基于GUI的深度优先搜索（GUI-DFS）探索算法，全面探索并验证环境的单元功能。随后智能体利用单元技能间的组合性，为复合任务自建课程。为支持细粒度动作，我们整理了一个动作原语数据库供智能体在探索中发现；探索完成后这些内容被保存为技能集。我们利用所学技能提升智能体的性能与效率：（1）为智能体注入即取即用的程序性知识，使其对长轨迹只需规划一次即可生成准确动作；（2）让智能体认清自身能力边界，从而更早结束推理时扩展。大量实验表明，我们的环境习得智能体向专家级计算机使用迈出了有意义的一步，在OSExpert-Eval上取得约20%的性能提升，并将与人类的效率差距缩小约80%。