教LLM看图：统一文本和结构推理

将 大语言模型 (LLM) 应用于图结构数据通常涉及多步骤管道，其中文本节点属性被压缩为单个标记并由 GNN 进一步处理，丢弃大部分语义内容。我们引入了图 Transformer 语言模型（GTLM），它使预训练的 LLM 能够本地处理图拓扑并完全消除这个瓶颈。 GTLM 将图感知注意力偏差直接注入到 LLM 的注意力模块中，相对于基本模型仅添加 0.015% 的结构相关参数。训练仅更新结构参数以及基础模型上的 LoRA 适配器。我们证明了我们的双向注意力前缀在节点上是排列等变的，并且当不存在图时 GTLM 精确地简化为预训练模型。由于没有全局节点排序，GTLM 没有表现出位置退化，并且不会在中间迷失方向：图中的针精度从 1k 到 64k 标记保持平坦，并且超过训练长度的 4 倍，而经过相同训练的平面文本基线会崩溃。综合评估表明，GTLM 在文本属性图基准、WebQSP 上的 GraphRAG 和分子基准上匹配或超过了特定领域的最先进模型，同时在 GraphQA 上的强大基准上进行了有意义的改进。我们进一步表明 GTLM 的注意力头隐式地学习模拟消息传递，解释了它在算法任务上的优势。总之，这些结果表明，最低限度适应的预训练 LLM 可以作为图学习的一般骨干。