ERAlign：文本属性图上 GNN 和 LLM 的基于能量的表示对齐

文本属性图（TAG）将文本节点属性与图结构相结合，以描述丰富的关系语义。最近集成图神经网络 (GNN) 和 大语言模型 (LLM) 的努力已经显示出 TAG 学习的前景，但实现良好对齐的表示仍然具有挑战性。先前的研究很大程度上依赖于执行粗粒度匹配的启发式方法。它们缺乏足够的约束并忽略分布对齐，导致表示漂移和有限的泛化。在基于能量的模型（EBM）的基础上，我们提出了一种基于能量的表示对齐（ERAlign）框架，该框架将 GNN 编码的图结构和 LLM 派生的文本嵌入投影到共享潜在空间中，以实现分布一致性。具体来说，逐层对齐通过距离度量进行量化，并通过 EBM 目标进行优化。通过降低能量值，我们的框架为下游任务提供了良好的一致表示。在训练过程中，我们引入能量差异（ED）以避免与棘手的标准化相关的高采样成本。 ED还具有更高训练效率和减少能源格局扭曲的理论保证。对八个 TAG 数据集的实证评估表明，ERAlign 在不同级别的监督和跨任务传输场景中获得了最先进的性能。