当选择成为先验：科学图形多项选择 QA 的对比解码

科学图形多项选择题回答 (MCQA) 需要模型对各种视觉证据进行推理，范围从图表和多面板图形到显微镜和生物医学图像。然而，这种设置存在一个明显的偏差：答案选择本身可以充当先验，即使数据支持不同的答案，也可以将多模态模型转向科学上合理的选项。我们通过一个简单的问题来研究这种失败模式：如果解码明确地折扣模型仅从文本中选择的内容，从而有利于基于数字的证据，会怎么样？为此，我们提出了 SCICON，这是一种免训练解码方法，通过从其图像条件对应项中减去纯文本选项得分来对每个候选进行评分。与之前通过将原始输入与扭曲图像或扰动指令进行对比来减轻幻觉的对比解码方法不同，SCICON 直接针对候选文本中由选择引起的先验编码。在三个科学图形 QA 基准和三个模型主干中，SCICON 持续提高了标准解码基线的准确性。这些结果表明，针对选择引发的先验进行解码是改进科学 MCQA 中基于图形的推理的有效且简单的方法。