论文

SkillOps:将 LLM 座席技能库作为自我维护软件生态系统进行管理

SkillOps: Managing LLM Agent Skill Libraries as Self-Maintaining Software Ecosystems

智能体系统Agent Harness

摘要

大语言模型 代理越来越依赖技能库来执行多步骤任务,但随着技能被添加、重用、修补和链接到不断变化的依赖项,这些库可能会积累持久性缺陷。我们将这种故障模式技能称为技术债务:库级缺陷可能不会在本地破坏单个技能,但可能会损害未来的检索、组合和执行。现有的基于技能的代理主要关注任务时的检索、规划和修复,而图书馆时的维护仍有待探索。我们提出了 SkillOps,一个与方法无关的插件框架,用于维护技能库。 SkillOps 将每项技能表示为类型化的技能合同(P、O、A、V、F),使用分层技能生态系统图组织技能,并跨实用性、兼容性、风险和验证维度诊断库的运行状况。给定一个原始技能库,SkillOps 会生成一个维护库,现有检索或规划代理可以使用该库,而无需更改其内部代码。在 ALFWorld 上,SkillOps 作为独立代理实现了 79.5% 的任务成功率,比最强基线高出 8.8 个百分点,并且没有额外的任务时间 大语言模型 调用。作为插件层,它将检索繁重的基线提高了 0.68 到 2.90 个百分点。当前基于规则的维护实现使用几乎为零的库时间 大语言模型 调用或词元,表明可以将技能库维护添加为低开销的架构层。