Chartographer：用于评估视觉语言模型的反事实图表生成

图表问答 (QA) 基准旨在提出需要视觉推理才能正确回答的问题，但视觉语言模型 (VLM) 通常可以通过捷径或事先熟悉图表或问题来找到解决方案。为了严格评估视觉推理，我们提出了反事实图表，其中图表问题任务保持固定，但基础数据和相应的答案是变化的。我们引入 Chartographer，这是一个框架，可将图表逆向工程为可执行代码、验证重建保真度、生成反事实变体，并从可执行 QA 逻辑中得出新答案。我们将此框架应用于现有的图表 QA 数据集，并评估专有和开源 VLM，测量变量敏感性和普遍性。反事实图表揭示了单图表性能隐藏的故障：VLM 在正确回答原始图表后通常无法进行概括。我们发现，当更新的图表需要新颖的视觉推理路径时，失败最为普遍。