论文

cotomi Act:看着你工作学会自动化

cotomi Act: Learning to Automate Work by Watching You

上下文与知识智能体系统上下文工程记忆Agent HarnessAgent记忆

摘要

如果浏览器智能体能仅靠观察你工作就学会你的工作呢?我们提出cotomi Act:一个浏览器化计算机使用智能体,结合可靠的多步任务执行与从用户行为学习的持久组织知识。执行侧,带自适应懒惰观察、verbal-diff历史压缩、粗粒度动作与best-of-N动作选择测试时扩展的智能体脚手架,在179任务的WebArena人工评估子集上达到80.4%,超过已报告的78.2%人类基线。组织知识侧,行为到知识流水线被动观察用户浏览并逐步抽象为工件(任务板、wiki),经用户与智能体均可编辑的共享工作区暴露。受控代理评估确认:随行为派生知识积累,任务成功率提升。现场演示中,参会者在真实浏览器中与系统交互,下达任务并观察端到端自主执行与共享知识管理。

cotomi Act:看着你工作学会自动化:论文配图
图 1. 与传统的使用计算机的代理在不了解用户组织的情况下执行任务不同,cotomi Act 不断从普通浏览中学习。行为记录器(顶部)监视用户活动,并通过代理 ETL 管道将其提炼为结构化工件(任务、时间线和 wiki 页面),存储在用户和代理都可以读取和编辑的共享知识工作区(底部)中。代理(右)在其 ReAct 循环期间查阅这些工件,充当定位的同事而不是无状态的执行者。