论文

从补丁到轨迹:软件工程代理的特权进程监督

From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents

模型训练合成数据

摘要

在长教师轨迹上进行监督的 微调 (SFT) 是向开放软件工程 (SWE) 代理灌输调查和推理的主要方式。由于每个保留的反应都成为模仿目标,学生继承了最终结果和中间缺陷,包括无根据的跳跃和冗余循环。高质量的训练数据必须是有效的(每个步骤都是有根据的,并且缩小了智能体与正确修复的认知差距)和高效的(每个步骤都是信息承载而不是冗余或循环)。现有的配方仅使用二进制终端验证器来过滤或重新标记教师卷展栏,该验证器不会直接针对这些轴,并且不会对教师失败的实例提供监督。大多数真正的问题包括开发人员编写的参考补丁 $p^\star$,揭示了正确修复所预设的文件路径、运行时行为和编码约定,但标准管道将其丢弃。我们提出了 Patches-to-Trajectories (P2T),它在管理过程中使用 $p^\star$ 作为特权信息,并将轨迹构建制定为每步有效性和轨迹长度的双目标优化。反相将 $p^\star$ 提炼为潜在的过程图 $G^\star$,其中包含上下文事实和解决方案里程碑。前向阶段通过在泄漏阻止证据核验性检查下根据 $G^\star$ 对每步进度进行评分并保留最短的有效段来管理盲法教师延续的轨迹。仅使用 1.8k 个精选的 SWE-Gym 实例,P2T 比结果过滤的 SFT 及其工具错误屏蔽变体提高了有效性和效率。在 SWE-bench Verified 上,它将 Pass@1 提高了多达 10.8 个点,同时将每个实例的推理成本降低了约 15%,与 SWE-bench Lite 上的收益一致。尺寸匹配的消融和定性分析进一步将轨迹质量与数据规模隔离。