需要多少反事实？通过电路和因果效应探索 VLM 幻觉

众所周知，视觉语言模型（VLM）会产生不以视觉证据为基础的幻觉预测，但现有方法缺乏对此类预测在反事实扰动下的稳健性的原则性理解。在这项工作中，我们研究了 VLM 中幻觉输出的反事实稳健性的样本复杂性。我们根据事实、反事实和激活补丁运行之间的对数概率差异定义因果影响度量，并用它来表征幻觉预测的稳定性。通过利用电路发现技术 (CD-T)，我们确定了负责这些预测的模型组件，并跟踪它们在反事实样本中的激活差异。然后，我们使用浓度不等式和因果影响分布的方差估计，得出可靠检测幻觉输出中的不稳定性所需的反事实样本 m 的最小数量的经验界限。