ORACLE-SWE：量化 Oracle 信息信号对 SWE 代理的贡献

语言模型 (LM) 代理的最新进展显着改进了自动化软件工程 (SWE)。先前的工作提出了各种代理工作流程和训练策略，并分析了代理系统在 SWE 任务上的故障模式，重点关注几个上下文信息信号：再现测试、回归测试、编辑位置、执行上下文和 API 使用。然而，每个信号对整体成功的单独贡献仍未得到充分探索，特别是在完美获得中间信息时它们的理想贡献。为了解决这一差距，我们引入了 Oracle-SWE，这是一种统一的方法，用于从 SWE 基准中分离和提取预言机信息信号，并量化每个信号对代理性能的影响。为了进一步验证该模式，我们评估了强 LM 提取的信号在提供给基础代理时的性能增益，近似于现实世界的任务分辨率设置。这些评估旨在指导自主编码系统的研究优先顺序。