论文
SWE-Future:面向未来的软件工程代理的预测条件数据合成
SWE-Future: Forecast-Conditioned Data Synthesis for Future-Oriented Software Engineering Agents
摘要
现实的编码代理基准测试通常会重播公共 GitHub 问题和拉取请求,这使得它们很容易与模型预训练、微调、合成数据生成或基准驱动模型选择重叠。完全合成的任务避免了直接的历史重放,但可能会偏离真正的存储库需求。我们提出了 SWE-Future,一种用于面向未来的编码任务的预测条件数据合成方法。给定时间 $T_0$ 的预测快照,该方法仅使用 $T_0$ 之前的存储库证据来预测未来的功能实现/增强、错误修复和重构任务系列。我们首先回顾性地验证此预测步骤:修复预测后,稍后的拉取请求仅用于衡量预测的任务系列是否与未来的存储库工作相匹配。在 80 个存储库的研究中,预测器在主要语义匹配指标下实现了 58.1% 的未来工作相关性。然后,我们使用经过验证的预测系列作为条件信号,从任务生成快照中合成跨 61 个存储库的 200 个任务编码代理数据集,而不是重放稍后用于验证的拉取请求。 SWE-Future 表明,存储库演化预测可以指导现实的、面向未来的编码任务合成,同时减少对历史拉取请求重放的直接依赖。