程序链：程序 QA 的分层视觉语言推理

视觉语言模型 (VLM) 的最新进展在标准图像文本任务上取得了令人印象深刻的成果，但其在视觉程序问答 (VP-QA) 方面的潜力在很大程度上仍未得到开发。 VP-QA 提出了独特的挑战，用户通过上传复杂程序的中间状态的图像来查询下一步操作。为了系统地评估 VLM 在这项实际任务中的表现，我们提出了 procedureVQA，这是一种专为视觉程序推理而设计的新型多模态基准。通过综合分析，我们确定了当前 VLM 的两个关键局限性：给定视觉状态的结构化过程的跨模式检索不足，以及图像序列粒度和文本步骤分解之间的不一致。为了解决这些问题，我们提出了过程链（CoP），这是一种分层推理框架，首先使用视觉提示检索相关指令，然后通过语义分解执行步骤细化，最后生成下一步。六个 VLM 的实验证明了 CoP 的有效性，与标准基线相比，绝对改进高达 13%。