GridVQA-X：评估多模态可解释性方法的框架

随着视觉语言模型的不断发展，它们的预测必须易于向相关利益相关者解释。然而，可解释性领域并没有跟上多模式浪潮的步伐。虽然最近的多模态可解释人工智能 (MxAI) 方法生成解释来归因不同模态之间的交互，但当前的评估协议缺乏区分真正的跨模态推理（例如，空间组成）和浅层跨模态快捷方式（例如，词袋属性匹配）所需的 真值。目前尚不清楚 MxAI 方法是忠实地捕捉协同相互作用，还是仅仅对充当简单特征检测器的模型进行幻觉推理。在本文中，我们介绍了 GridVQA-X，这是第一个专门用于评估跨模式可解释性的诊断框架。与自然数据集不同，GridVQA-X 利用封闭世界综合逻辑来生成独特的、数学上有保证的解释。我们利用这个受控环境在相同的架构上训练配对的 真值 模型：$M_{\text{pure}}$，它学习鲁棒的空间关系推理；$M_{\text{spur}}$，它在结构上被迫依赖跨模式快捷方式。这种行为差异创造了一个严格的测试平台：忠实的解释者必须报告每个模型的不同推理路径。我们的研究结果表明，广泛使用的方法无法区分依赖于真正的空间关系推理的模型和利用跨模态快捷方式的模型，突显了在捕获真正的跨模态协同作用和歪曲多模态模型实际如何做出决策方面存在的关键差距。