连接传统可解释性方法和多模态多语言模型：基于 XAI 的分析

多模态 大语言模型 (MLLM) 有效集成文本和音频，以解释复杂交互式对话中的上下文。然而，异构模式影响模型行为的内部机制仍然不透明。虽然 Shapley 值 (SV) 为基于文本的 NLP 中的局部可解释性提供了一个强大的、与模型无关的框架，但它们向多模态数据的扩展受到跨通道依赖性、复杂的对话结构以及密集音频表示的令人望而却步的计算复杂性的阻碍。在这项工作中，我们形式化了 Shapley 值框架的多模态扩展，将离散文本标记和对齐的音频片段视为协作特征。为了确保计算可行性，我们部署了一套有效的估计策略：低维输入的精确 SV 计算和基于采样的近似 - 包括蒙特卡罗排列和具有内曼最优分配的分层采样 - 以在计算预算有限的情况下最小化方差。为了解决模态之间的粒度不匹配问题，我们提出了频谱图引导语音对齐（​​SGPA），这是一种新颖的预处理方法，可将高频音频流映射到可解释的、单词对齐的片段。我们的贡献是双重的：首先，我们提供了一个开源的、与模型无关的 Python 包和一个配套的 GUI，用于多模态归因的计算和交互式可视化。其次，我们使用跨不同多语言场景的 VoiceBench 和 Infinity Instruct 数据集的精选子集来评估我们的框架。我们的实验结果表明，输入模态是归因波动的主要驱动因素，并证明标准句法重要性代理通常无法预测多模态、跨语言环境中的模型注意力。