当模型先验与视觉证据发生冲突时：通过选择性先验校准减轻常识驱动的幻觉

在视觉-语言模型中，当模型的常识先验覆盖了非典型状态的清晰视觉证据时，常识驱动的幻觉（CDH）就会发生。例如，模型可能会报告一只明显有六个手指的手有五个手指。我们证明这些错误是系统性的：当模型错误地回答有关反事实（CF）图像的问题时，其答案通常与它喜欢的候选者一致，而无需访问图像。不加区别地抑制此先验可以修复 CF 错误，但也可能会破坏匹配的常识 (CS) 图像上的正确答案，而相同的先验是有帮助的。因此，我们提出选择性先验校准（SPC），它从具有实例相关强度的图像条件分数中减去候选级先验偏好估计，并仅当所得分数模式强烈支持替代方案时才修改原始预测。大量实验表明，SPC 显着提高了 CF 图像的准确性，同时很大程度上保留了匹配 CS 图像的准确性。此外，这些收益可以推广到 CDH 类别、候选答案排列和其他冲突基准，而 SPC 很少会在没有此类冲突的情况下改变对基准的预测。