VisualRepair：用于可视化软件问题修复的动态工具调用和区域聚焦

随着 大语言模型 (LLM) 的出现，自动程序修复 (APR) 取得了重大进展。然而，随着现代软件系统越来越多地公开丰富的图形用户界面，有效利用错误屏幕截图中的视觉信息对于理解错误并在多模式场景中生成准确的修复至关重要。现实世界的问题报告经常包含异构视觉附件，包括 UI 屏幕截图、IDE 快照、GIF 和以文本为中心的图像，每个附件都具有不同的视觉模式和特定于领域的语义，对 MLLM 提出了大量的感知要求。此外，错误屏幕截图通常包含大片无信息且与错误无关的区域，分散了模型的注意力并限制了补丁的多样性。为了应对这些挑战，我们提出了 VisualRepair，一种基于 MLLM 的视觉软件问题修复框架，包含两个核心模块：图像类型感知工具调用 (ITTC)，它对输入图像进行分类并动态调用定制的工具调用链以实现稳健的视觉解释；动态测试时区域聚焦 (DTRF)，它基于多个与 bug 相关的候选区域，并通过自适应放大和缩小策略对其进行细化，以改进故障定位并促进多样化的补丁生成。 SWE-bench Multimodal 基准测试的大量实验表明，VisualRepair 的性能始终优于最先进的方法。 VisualRepair 分别在测试集和开发集上解决了 196 个和 25 个实例，比最佳基线高出 10 个和 11 个实例。这些结果凸显了类型感知视觉理解和以区域为中心的本地化对于自动化视觉软件问题修复的有效性。