空间中的注意力：VLM注意力头在空间推理中的功能角色

尽管大型视觉语言模型（VLM）取得了显著进展，空间推理仍是一个长期存在的挑战。在本工作中，我们通过机制可解释性视角分析VLM内部注意力头的功能角色，研究它们如何参与空间推理。我们提出CogVSR数据集，它将复杂空间推理问题分解为逐步子问题，旨在通过思维链范式模拟类人推理，每个子问题都与特定认知功能（如空间感知或关系推理）相关联。基于CogVSR，我们开发了一个探测框架，以识别并刻画专司这些功能的注意力头。我们对多个VLM家族的分析显示，这些功能头普遍稀疏，且在不同功能上数量与分布各异。值得注意的是，空间专用的头少于其他认知功能的头，凸显其稀缺性。我们提出激活潜在空间头的方法，以改进空间理解。干预实验进一步证明了它们在空间推理中的关键作用：移除功能头导致性能下降，而强化它们则提升准确率。本研究为理解VLM如何关注空间提供了新的可解释性驱动洞见，并为增强多模态模型中的复杂空间推理铺平道路。