TAG-DLM：用于文本属性图学习的扩散语言模型

文本属性图（TAG）的每个节点都带有自然语言描述，需要模型对文本和图拓扑进行联合推理。现有方法通常单独处理这两种模式：图神经网络对浅层文本特征进行操作，而 LLM 和图的混合主要使用语言模型作为文本编码器，并将结构学习委托给单独的图模块。我们提出了一种将文本推理和图形消息传递统一在掩码扩散语言模型中的方法，这是一种具有双向注意和生成解码的语言模型。对于每个图实例，该方法将采样的局部邻域线性化为词元序列，并通过拓扑注意掩模注入图结构，从而实现图上的消息传递。由于扩散语言模型既可以解释也可以生成文本，因此该方法只需更改提示即可适应不同的任务，支持节点分类、链接预测和跨数据集传输，无需针对特定目标 微调。实验表明，该方法在两项任务的所有三个 TAG 基准上均优于图神经网络、图 Transformer 和基于 LLM 的基线，比最强基线提高了 3.9 个百分点。