SWE-Prime：更少的轨迹，更好的性能

为了提高 大语言模型 解决现实世界软件问题的能力，之前的工作重点是构建大规模智能体轨迹数据集并在成功的轨迹上执行有监督的 微调 (SFT)。然而，任务的成功并不能保证高质量的监督：成功的轨迹可能仍然包含无效、冗余或有风险的步骤。直接使用此类轨迹进行 SFT 会引入噪音监督并鼓励模型模仿不良的问题解决行为。因此，我们提出了 SWE-Prime，一种多粒度、两阶段 SFT 数据选择方法，可在轨迹和段级别逐步过滤训练数据。具体来说，第一阶段根据过程质量、结果质量和数据代表性进行轨迹级筛选，选择高质量且具有代表性的成功轨迹子集。第二阶段通过将连续步骤分组为语义片段并根据每个片段对最终解决方案的贡献、可学习性和潜在风险来评估每个片段来执行片段级选择。在 SFT 期间，所有片段都保留在序列中以保留上下文，而只有选定的片段有助于损失计算。 SWE-Bench Pro 和 SWE-Bench Verified 上的实验表明，SWE-Prime 选择的 10% 轨迹子集上的训练优于完整解析数据集上的训练，相对性能增益分别高达 12.2% 和 24.2%。