Tri-PvP：通过感知命题证据冲突暴露全模态 大语言模型 中的模态偏差

全模态 大语言模型 (OLLM) 联合处理视觉、音频和文本，但它们在跨模态冲突下的模态偏差仍未得到充分研究。现有的基准将两种不同形式的证据合并在一个模态中：感知信号（例如，狗的照片或录音）和命题信号（例如，声明性断言“这是一只狗”），因此任何测量的模态偏差本质上都与证据形式偏差相混淆，排除了对任一来源的清晰归因。为了解决这个问题，我们引入了 Tri-PvP，这是一个跨越视觉、音频和文本的 8,000 个样本的三模态冲突基准，其中视觉和音频各自采取感知或命题形式。通过评估五个 OLLM，我们发现大多数模型和证据类型条件都存在明显的视觉偏差。至关重要的是，我们揭示了证据形式偏差的系统性不对称性：模型对视觉中的感知信号表现出更强的偏差，但在音频中表现出命题信号。通过逐层线性探测和对比解码的进一步分析表明，模态偏差已经可以从早期表示层线性解码，并且只能部分缓解，需要超越表面干预的缓解策略。