多域多任务图对齐指令调优的统一图语言模型

利用图神经网络（GNN）作为图编码器，并通过对齐指令调整将结果表示与 大语言模型（LLM）对齐，已成为构建图语言模型（GLM）的主流范例，将 LLM 的泛化能力与 GNN 的结构建模能力相结合。然而，采用 GNN 作为图编码器的现有 GLM 在很大程度上忽视了将跨域和任务的 GNN 编码表示与 LLM 词元空间对齐以获得统一图词元的问题，从而限制了它们跨不同图数据进行泛化的能力。为了弥补这一差距，我们的目标是将多域、多任务 GNN 编码器合并到 GLM 中，并将其表示与 LLM 对齐，以实现多域、多任务图对齐指令调整。这种对齐问题仍未得到充分探索，并带来了两个关键挑战：1）由于图结构、特征分布和监督信号的巨大变化，以及在特定任务的 GNN 训练中缺乏文本语义对齐指导，学习同时可跨领域和任务泛化并与文本语义良好对齐的 GNN 编码表示很困难； 2) 在指令调优过程中，不同的图数据和特定于任务的指令可能会表现出与 LLM 词元空间不同程度的兼容性，从而导致不同的对齐难度并使固定对齐策略变得次优。为了应对这些挑战，我们提出了 UniGraphLM，这是一种统一图语言模型，它结合了多域、多任务 GNN 编码器来学习与文本语义一致的通用图表示，然后自适应地将这些表示与 LLM 对齐。