空间信息已经编码，为何答案仍用不上？视觉语言模型的信息传递研究

众所周知，视觉语言模型可以在隐藏状态中对空间信息进行编码，但在回答时通常无法使用它。然而，目前尚不清楚这些编码信息何时何地到达答案。我们通过方向修补来解决这个问题，这是一种跨层、词元位置和提示格式应用的类条件因果干预。使用根据先前编码证据构建的空间 ID 方向，我们发现对答案 logits 的因果影响仅出现在中深度。在大多数模型中，文本思维链会抑制直接的对象词 argmax 级传输，而基于视觉的提示则使其保持打开状态。正目标 logits 增益可以保持在 argmax 阈值以下，并且传输可以在最终前缀标记处或在更深层的应答步骤处重新出现。在我们研究的十个 VLM 中，这些局部效应形成了描述性的传输模式。补充实验描述了这些模式如何在数据集、属性和编码幅度之间变化。总之，这些结果将空间编码与答案证据对齐的差距重新定义为 VLM 中的条件传输问题。