论文

Change2Task:从存储库更改到可执行 编码智能体 任务和环境

Change2Task: From Repository Changes to Executable Coding Agent Tasks and Environments

模型评测基准与评测资源

摘要

扩展 编码智能体 需要持续提供可执行数据以进行训练、基准测试和持续评估。每项任务都必须将实际的软件状态与规范、开发工具和可靠的验证结合起来。为了扩大这种供应,我们推出了 Change2Task,这是一个基于存储库历史记录的系统,可将合并的拉取请求转换为同一存储库的健康现代修订版上经过验证的任务。它将历史证据与演进的代码结合起来,通过补丁反转、代码映射或代理重建来重建任务状态,并验证从健康基础到任务状态和恢复状态的生命周期。通过从维护的环境中派生基于开发人员证据的多个任务,Change2Task 为 编码智能体 训练和评估提供可执行数据,同时减少重复的环境设置、存储和任务构建工作。我们通过五个常见且广泛采用的 编码智能体 任务系列来评估系统:错误修复、功能添加、测试生成、应用程序编程接口迁移和安全修复。从 1,130 个符合构建条件的源变更开始,Change2Task 在这些任务系列中实现了 79.6% 的验证任务构建成功率。在匹配的候选集上,它比基于拉取请求的构建基线多恢复了 29.2% 的已验证任务。在代理评估下,历史和重建案例的匹配结果一致性高达 98.0%,而现代基地的重用将整个管道的测量支出减少了 10.8%。