GALA：自动化程序修复中错误定位的多模态图对齐

基于 大语言模型 (LLM) 的自动程序修复 (APR) 在文本基准测试中显示出强大的潜力，但在使用 GUI 屏幕截图报告错误的多模式场景中却表现不佳。现有方法通常将图像转换为纯文本，这会丢弃关键的空间关系，并导致视觉观察和代码组件之间严重脱节，导致本地化退化为不精确的关键字匹配。为了弥补这一差距，我们提出了 GALA（APR 本地化图对齐），这是一个将多模态 APR 从隐式语义猜测转变为显式结构推理的框架。 GALA 的运行分为四个阶段：首先构建一个 Image UI Graph 来捕获视觉元素及其结构关系；然后通过交叉引用该 UI 图与存储库级结构（例如文件引用）来定位候选文件，从而执行文件级对齐；接下来通过对细粒度代码依赖关系（例如调用图）进行推理来进行功能级对齐，以将视觉元素精确地定位到相应的代码组件；最后根据对齐的文件和函数在与视觉证据对齐的代码上下文中执行补丁生成。通过系统地强制跨模式的语义和关系一致性，GALA 建立了高度准确的视觉到代码映射。对 SWE-bench Multimodal 基准的评估表明，GALA 实现了最先进的性能，突出了分层结构对齐的有效性。