论文

SkillRevise:通过轨迹条件化的技能修订改进LLM编写的智能体技能

SkillRevise: Improving LLM-Authored Agent Skills via Trace-Conditioned Skill Revision

智能体系统上下文与知识记忆Agent SkillsAgent记忆

摘要

代理技能是程序工件,使 LLM 代理能够执行工作流、验证约束并从故障中恢复。现有的自我进化方法使用累积的轨迹来完善技能。然而,他们在冷启动环境中举步维艰,因为只有初始的、不完善的技能可用。因此,技能构建默认为专家创作或一次性大语言模型生成。专家编写的技能成本高昂,并且可能与 LLM 代理实际执行任务的方式不一致,而一次性生成的技能可能在语法上结构良好,但在行为上却很薄弱。为了弥补这一差距,我们提出了 SkillRevise,这是一个以执行为基础的框架,旨在迭代地完善这些初始技能。 SkillRevise 根据执行证据诊断技能缺陷,从一般记忆中检索相关修复原则,并应用执行锚定的编辑。通过重新执行候选人并衡量经验效用,它系统地保留了最佳技能版本。经过三个基准测试和五个大语言模型的评估,SkillRevise 的性能大大优于一次性基线,将基本代理在 SkillsBench 上的成功率从 36.05% 提高到 61.63%。此外,修订后的技能表现出强大的跨模型可移植性,捕获特定于模型的工件的广义程序知识。

SkillRevise:通过轨迹条件化的技能修订改进LLM编写的智能体技能
图1:技能设计必须避免特定于实例的快捷方式和模糊的建议;跟踪条件原则提供了可操作的、与验证者一致的指导。