论文

Loc2Repair:评估存储库级 LLM 修复中文件级问题定位影响的框架

Loc2Repair: A Framework for Evaluating the Impact of File-Level Issue Localization in Repo-Level LLM Repair

模型评测评测方法与指标

摘要

基于存储库的自动修复通常被报告为单一的端到端功能,它隐藏了不同的故障模式,例如不良的文件目标、错误的补丁合成和失败的迭代调试。我们提出了 Loc2Repair,这是一个模块化评估框架,用于对基于存储库的修复管道进行受控分析,并使用它来隔离文件级问题定位作为上游变量。 Loc2Repair 在共享运行时、工件模式和评估工具下解耦定位和修复,使研究人员能够组合不同的定位模型并在匹配的条件下修复骨干网。使用 SWE-bench Verified 上的三个修复主干,我们比较了没有显式定位的基线修复、由两个定位器的预测定位引导的修复以及由标准修改文件集引导的修复。显式定位持续提高了所有骨干网的解析率:合并性能从基线修复的 44.7% 增加到预测定位的 48.9% 和 49.1%,以及标准定位的 52.4%。定位还总体上减少了平均经过时间:在合并配对分析中,两种预测定位设置的平均经过时间减少了 100.94 秒和 52.25 秒,而标准指导则减少了 154.45 秒,尽管模型之间的词元效应仍然存在异质性。总体而言,Loc2Repair 表明文件级定位是一种一致的修复手段,可以提高汇总分析的有效性和平均延迟,而标准引导的故障则暴露了定位之外的空间。