用于事实检查的多模式索赔提取

自动事实核查 (AFC) 依赖于声明提取作为第一步，但现有方法在很大程度上忽视了当今错误信息的多模态性质。社交媒体帖子通常将简短的非正式文本与模因、屏幕截图和照片等图像结合起来，带来了不同于纯文本声明提取和经过充分研究的多模式任务（如图像字幕或视觉问答）的挑战。在这项工作中，我们提出了从社交媒体中提取多模式声明的第一个基准，其中包含包含文本和一个或多个图像的帖子，并用来自现实世界事实检查器的标准标准声明进行注释。我们在三部分评估框架（语义对齐、忠实性 和去语境化）下评估最先进的多模态 LLM (MLLM)，发现基线 MLLM 很难对修辞意图和语境线索进行建模。为了解决这个问题，我们引入了 MICE，这是一个意图感知框架，它显示了意图关键案例的改进。