一幅画值得一千字吗？具有视觉证据必要性的自适应多模式事实检查

自动事实核查是支持负责任的信息生态系统的一项关键任务。虽然最近的研究已经从纯文本进展到多模式事实核查，但普遍的假设是，纳入视觉证据普遍可以提高验证准确性。在这项工作中，我们挑战了这一假设，并表明不加区别地使用视觉证据会降低准确性。基于这一发现，我们提出了 AMuFC，这是一个模块化的事实检查框架，它采用两个具有不同作用的协作视觉语言模型来实现视觉证据的自适应使用。本研究中引入的包括 WebFC 在内的三个数据集的实验结果证明了自适应视觉证据在事实核查中使用的有效性。