论文
通过 CoRe Heads 对多模式 LLM 中功能稀疏性的机制洞察
Mechanistic Insights into Functional Sparsity in Multimodal LLMs via CoRe Heads
摘要
虽然多模态 大语言模型 (MLLM) 在复杂的视觉语言任务上表现出卓越的熟练程度，但它们从复杂、嘈杂的上下文中提取与查询相关的视觉特征的机制仍然不透明。在本文中，我们提出了一项深入的可解释性研究，揭示了 MLLM 中的一个深刻的结构特性：跨模态检索中的函数稀疏性。利用称为检索注意力质量 (RAM) 的 词元级 指标，我们识别并描述了高度专业化的注意力头子集，称为上下文感知检索 (CoRe) 头。在不同的视觉领域和模型尺度中，我们观察到了清晰的功能划分：CoRe 头充当专门的信息提取器，而大多数其他头将注意力分散到更广泛的上下文区域。因果干预进一步证明了这些专门负责人的必要性。仅烧蚀前 5% 的 CoRe 头部会导致多模态推理性能显着下降，而烧蚀排名较低的头部则影响最小。此外，加速实验验证了 CoRe 头的实用性，表明利用这种局部稀疏性可以显着加速推理，同时保持强大的任务性能。我们的研究结果揭示了 MLLM 内功能稀疏的结构原理，完善了当前对机械可解释性的理解，并奠定了可以启发未来架构设计和模型优化的理论基础。