图词元的高激活不等于有效利用图结构

图语言模型（GLM）已成为使 大语言模型（LLM）适应图学习任务的一个有前途的方向。通过将图拓扑和节点信息转换为图标记，GLM 允许 LLM 联合处理结构化图输入和文本指令。然而，目前尚不清楚 LLM 在内部如何解释这些图标记以及图标记是否充当图结构的有意义的载体。在这项工作中，我们分析了 LLM 如何通过代表性 GLM 架构中的图词元行为来处理图信息。发现。我们发现 GLM 中图标记的内部显着性并不等同于图信息利用。图接收器标记始终作为激活级别异常值出现：它们可以通过沿着一小组隐藏状态维度的大量激活值来识别，并且偏向于早期图标记位置。然而，这种激活级别的显着性并不意味着这些标记是图信息的主要载体。与语言和视觉语言模型中的经典注意力接收器不同，图接收器标记不一定会吸引查询标记的最大注意力权重。通过修剪、重新定位和交换干预，我们表明图接收器标记并不是下游预测最重要的语义或结构标记。影响。总之，这些结果表明，在当前的 GLM 将图结构映射到 LLM 词元空间中后，生成的图词元表示不会自然地形成完全可用的拓扑感知内部表示；相反，它们表现出激活级别显着性和图形语义效用之间的解耦。这种解耦指出了现有图词元构建、放置和对齐机制的局限性。