论文
SkillGen:经过验证的推理时间代理技能综合
SkillGen: Verified Inference-Time Agent Skill Synthesis
摘要
技能是一种无需重新培训即可提高 LLM 代理能力的有前途的方法,同时保持添加的过程可重用和可控。然而,高质量的技能仍然很大程度上是手工编写的。我们引入了 SkillGen,这是一个多智能体框架,它根据基本智能体生成的轨迹合成单个可审计技能。输出是人类可读的工件,可以在使用前进行检查。 SkillGen 不仅仅总结轨迹,还利用成功和失败轨迹的对比归纳来识别可重复使用的成功模式、重复出现的失败模式以及出现在附近成功中但在失败中缺失的行为。然后,SkillGen 生成候选技能并迭代完善该技能。 SkillGen 的一个关键新颖之处在于,我们将代理技能建模为干预措施,以凭经验验证技能对整体绩效的净影响。具体来说,我们比较使用和不使用该技能的相同实例的结果,以便我们考虑修复(该技能修复基线故障的情况)和回归(该技能打破基线成功的情况)。在广泛的代理和数据集中,SkillGen 持续改进了保留的性能,超越了现有的技能生成基线,并产生了跨模型转移的技能。