重新审视图词元化 大语言模型：图词元理解的系统评估

大语言模型（LLM）的巨大成功促使研究人员将其用作各种图形任务的通用预测器。作为一种广泛认可的范例，图标记化 LLM (GTokenLLMs) 将复杂的图数据压缩为图标记，并将它们视为查询 LLM 的前缀标记，使许多人相信 LLM 可以更有效和高效地理解图。在本文中，我们挑战这个信念： \textit{GTokenLLM 是否完全理解自然语言嵌入空间中的图标记？} 受这个问题的启发，我们形式化了 GTokenLLM 的统一框架，并提出了一个评估管道 \textbf{GTEval}，通过格式和内容级别的指令转换来评估图标记的理解。我们使用 GTEval 对 6 个具有代表性的 GTokenLLM 进行了广泛的实验。主要发现如下： (1) 现有的 GTokenLLM 并未完全理解图词元。他们对教学变化表现出过度敏感或过度不敏感，并且严重依赖文本进行推理； (2) 尽管图标记保留了与任务相关的图信息并在 LLM 层中受到关注，但它们的利用率因模型和指令变体而异； (3)额外的指令调优可以提高原始指令和查看指令的性能，但并不能完全解决图词元理解的挑战，需要进一步改进。