DMC-CF：因果推理的动态多模态 CounterFactual QA 基准

随着多模态 大语言模型 (MLLMs) 的快速发展，模型展现出越来越强大的多模态能力。然而，通过统计学习训练的 MLLM 是否能够真正理解现实世界背后的因果关系仍然是一个关键的研究问题。近年来，人们提出了许多多模态因果推理数据集。然而，这些数据集要么规模有限，要么由合成图像和视频、基于卡通的内容或其他非现实的多模式来源构建。为了解决这些限制，我们收集现实世界的视频并构建 DMC-CF-Static，这是多模式因果反事实推理的大规模基准。此外，为了缓解传统静态评估中的数据污染等问题，我们使用因果图表示因果事件，并提出动态图干预（DGI）框架，从DMC-CF-Static构建动态评估基准DMC-CF-Dynamic。包括静态和动态评估基准在内的整体 DMC-CF 的实验结果表明，当前多模态 大语言模型 在现实场景中的多模态因果推理能力仍需要大幅改进。