视觉语言模型的结构图探测

视觉语言模型（VLM）实现了强大的多模态性能，但如何跨神经元群组织计算仍然知之甚少。在这项工作中，我们通过神经拓扑的视角来研究 VLM，将每一层表示为源自神经元-神经元共同激活的层内相关图。这种观点使我们能够询问人口层面的结构是否具有行为意义，它如何在模式和深度上发生变化，以及它是否识别出干预下具有因果影响的内部组成部分。我们证明相关拓扑携带可恢复的行为信号；此外，跨模态结构随着一组紧凑的循环中枢神经元周围的深度逐渐巩固，其目标扰动极大地改变了模型输出。因此，神经拓扑成为 VLM 可解释性的有意义的中间尺度：比局部归因更丰富，比全电路恢复更容易处理，并且在经验上与多模态行为相关。代码可在 https://github.com/he-h/vlm-graph-probing 上公开获取。