论文
SkillCome:双内存群组对比技能优化
SkillCome: Group Contrast Skill Optimization with Dual Memory
摘要
技能进化通过分析给定技能下生成的轨迹并相应地修改技能来提高大语言模型的能力。现有方法通常为每个问题生成一个轨迹。然而,这提供了不足的优化信号,因为它需要从单独的路径推断有效的技能编辑。很难确定哪些动作导致了失败轨迹中的失败,也很难确定成功轨迹中的哪些动作应纳入技能中。此外,它们依赖一批本地轨迹进行分析,使得优化方向容易受到噪声证据的影响。为了解决这些问题,我们提出了 SkillCome,一种基于双内存组对比度优化的技能进化方法。对于每个问题,SkillCome 都会生成轨迹并执行群体对比分析,以精确识别成功轨迹和失败轨迹之间的关键行为差异,提供可靠的优化信号。双记忆系统进一步积累历史步骤的证据,以跟踪不同组之间共享的模式,从而得出更通用的优化方向。 SkillCome 共同构建了一个系统化的优化流程,将观察到的成功轨迹的经验转化为可重复使用的技能。对涵盖问答、推理和 Agentic 任务的六个基准进行的广泛实验证明了我们方法的有效性。 SkillCome 在不同系列和规模的五种模型中始终优于基线,涨幅高达 +5.69 分。