论文

SkillForge:在云技术支持中打造特定领域、自我进化的代理技能

SkillForge: Forging Domain-Specific, Self-Evolving Agent Skills in Cloud Technical Support

智能体系统Agent Harness

摘要

在云技术支持等企业场景中部署基于 LLM 的代理需要高质量的特定领域技能。然而,现有的技能创建者缺乏领域基础,产生的技能与现实世界的任务要求不太相符。此外,一旦部署,就没有系统的机制可以将执行失败追溯到技能缺陷并推动有针对性的改进,尽管积累了操作证据,但技能质量仍然停滞不前。我们引入 SkillForge,这是一个自我进化的框架,它闭合了端到端的创建-评估-改进循环。为了产生一致的初始技能,领域情境化技能创建者将技能合成基于知识库和历史支持票证。为了实现持续的自我优化,三阶段管道——故障分析器、技能诊断器和技能优化器——自动批量诊断执行故障,查明潜在的技能缺陷,并重写技能以消除它们。这个循环迭代运行,让技能能够通过每一轮的部署反馈来自我提高。通过对涵盖 1,883 个工单和 3,737 个任务的五个真实云支持场景进行评估,实验表明:(1) 领域情境化技能创建者比通用技能创建者产生的初始技能要好得多,这是通过与历史工单中专家编写的参考响应的一致性来衡量的; (2)自我进化循环在连续的轮次中从不同的起点(包括专家创作的、领域创建的和通用技能)逐步提高技能质量,证明自动进化可以超越手动策划的专家知识。