MLLM 中的 Head-wise 模态专业化，用于在缺失模态下进行稳健的假新闻检测

多模态假新闻检测（MFND）旨在通过联合利用文本和视觉证据来验证新闻可信度。然而，现实世界的新闻传播经常因图像删除、屏幕截图损坏和类似问题而出现模式缺失的问题。因此，这种情况下的稳健检测需要为每种模态保留强大的验证能力，由于对低贡献模态的学习不足和稀缺的单模态注释，这在 MFND 中具有挑战性。为了解决这个问题，我们提出了多模态 大语言模型 (MLLM) 中的 Head-wise Modality Specialization，以在缺失模态下实现稳健的 MFND。具体来说，我们首先系统地研究了 MLLM 中的注意力头及其在缺失模态下与性能的关系，表明模态关键头通过其模态专业化成为单模态验证能力的关键载体。基于这一观察，为了更好地保留低贡献模态的验证能力，我们引入了一种 head-wise 专业化机制，该机制明确地将这些头分配给不同的模态，并通过下界注意约束保留其专业化。此外，为了更好地利用稀缺的单峰注释，我们提出了一种单峰知识保留策略，以防止这些头偏离从有限监督中学到的单峰知识。实验表明，我们的方法提高了缺失模态下的鲁棒性，同时保留了完整多模态输入的性能。