SkillAudit：经配对轨迹审计的无真值技能演化

代理技能是结构化的程序包，可在专门的工作流程中指导冻结的 LLM 代理。部署后，技能很少能保持足够的水平：边缘情况、API 更改和部署约束只有通过使用才可见，这使得技能发展成为实际的必要条件。现有的方法依赖于特权反馈，例如保留的验证分数、隐藏的测试结果或环境奖励——当从业者只有任务描述和工作空间数据时，信号通常不可用。我们引入了 SkillAudit，这是一个在没有真实反馈的情况下发展代理技能的框架。关键思想是配对轨迹审计：在每次迭代中，在有或没有候选技能的情况下执行相同的任务，隔离技能如何在没有外部标签的情况下改变代理行为。为了将行为差异转化为编辑指导，SkillAudit 使用流程对齐对比评估 (PACE)，这是一组评估器，可将轨迹差异映射到与技能文档中特定段落相关的诊断信号。结构验证器根据任务规范编译一次然后修复，检查任务约束并回滚有害更新。 SkillAudit 通过两个管道进行编辑：Refine 从广泛有用的技能中删除嘈杂或不相关的指导，而 Repair 则替换与任务冲突的段落。在跨越 8 个专业领域的 89 个容器化任务中，SkillAudit 实现了 73.9% 的平均任务奖励，优于没有技能的代理 (40.9%) 和静态专家技能 (56.7%)。这些收益是在进化过程中无需访问隐藏测试、参考解决方案或外部评分函数即可获得的。