论文
PAFT:用于最小编辑程序修复的保留感知 微调
PAFT: Preservation Aware Fine-Tuning for Minimal-Edit Program Repair
摘要
大语言模型 (LLM) 对于自动化程序修复非常有效,但通过完整测试套件的合理补丁通常会重写比必要的更多的代码,从而增加审查和维护成本。这种过度编辑很常见,因为大多数错误都是本地化的,而标准监督 微调 没有提供关于应保留哪些词元和应更改哪些词元的明确信号。我们提出 PAFT,一种用于最小编辑程序修复的保存感知 微调 方法。 PAFT 通过对齐有缺陷的代码和固定代码来导出 词元级 保留信号,将它们与全序列掩码相结合,并应用编辑难度课程。在 Defects4J 和 HumanEval-Java 中,PAFT 比标准监督 微调 (StdFT) 将 pass@1 提高了高达 65.6%,同时将平均编辑距离 (AED) 降低了高达 32.6%。在使用 DeepSeek-Coder-6.7B 的 Defects4J 上,PAFT 的性能也优于基于偏好的强大修复基线 AdaPatcher,将 pass@1 从 5.9% 提高到 10.1%,同时将中值 AED 从 61.0 降低到 42.0。总体而言,PAFT 保留了稳定的上下文,并将编辑集中在错误区域,从而产生更小、更局部化、更合理的补丁,而无需推理时搜索、重新排名或后处理。