SKILL.nb:面向持久智能体工作流的选择性形式化与门控执行
SKILL.nb: Selective Formalization and Gated Execution for Durable Agent Workflows
摘要
人工智能代理越来越多地将过去的经验转化为可重用的工件,例如代码、工作流程和程序记忆。重用可以提高效率,但它也会产生生命周期可靠性问题:一旦成功的工件可能会在环境漂移、未指定的任务或更改任务分配的情况下失败,特别是在 Web 自动化中。我们引入了 SKILL.nb,这是一个使用经过证据校准的生命周期策略来管理可重用代理工作流程的框架。 SKILL.nb 使用选择性形式化:执行证据决定哪些工作流程步骤应成为可执行代码,哪些应保持自然语言指导,以及何时应修改这些选择。工作流程存储为可审核的版本化笔记本,其中交错自然语言指导、多语言可执行单元、验证门、回退路径以及输出、屏幕截图和错误跟踪等多模态证据。在运行时,门条件执行允许每个步骤在门验证时运行代码,或者在漂移使可执行实现无效时在本地回退。在 WebArena-Verified 上,SKILL.nb 单轮成功率达到 53.7%,比最强基线提高了 3.9 个百分点。在 3 次重新执行中,它保留了 91.7% 的最初成功任务,比次优方法高出 15.5 分。在有限修复下,它可以恢复 72.9% 的后续故障,同时将修复后的回归限制在 4.2%,而持久基线的恢复率为 15.0% 至 17.0%。它还在 Mind2Web 跨网站和跨域拆分方面处于领先地位。在 GitLab 迁移测试中,SKILL.nb 在重用在 GitLab 15.7 上学习的冻结状态时保留了性能,在 GitLab 16.11 上冻结与新鲜目标版本的差距为 -1.7 点,在 GitLab 18.9 上为 +0.6 点。这些结果将生命周期治理和门控执行视为超越一次性任务成功的可靠性轴。
