GLIP：图级任务的图和 LLM 联合预训练

图广泛用于对关系系统进行建模，并应用于社交网络、金融和生物医学等领域。图神经网络（GNN）已成为学习图表示的主流方法。随着 大语言模型 (LLM) 的兴起，最近的研究尝试将 GNN 与 LLM 结合起来。然而，大多数现有工作集中在节点级和边缘级任务，而需要捕获更复杂的结构和特征信息的图级任务仍然相对未得到充分探索。此外，图预训练是一种广泛采用的策略，可以缓解标签稀缺的挑战。大多数现有方法都是专为 GNN（例如 GraphCL）设计的，而 LLM 不参与该过程。为了解决这些限制，我们提出了 GLIP，一种用于图级任务的 Graph-LLM JoInt 预训练框架。 GLIP 首先执行图增强来构建正负对，并引入多标记选择策略来识别在结构和特征方面都包含信息的补丁。它还利用基于扩散的投影仪来丰富上下文信息，使 GLIP 能够从全球和本地角度捕获信号。最后，GLIP 采用联合目标，将 LLM 的语义判断与对比对齐损失相结合，确保语义和结构层面的一致监督。预训练后，GLIP 使用有限的标记数据对下游任务进行微调，大量实验表明它在图级分类和推理任务上优于最先进的方法。我们的源代码可在 https://anonymous.4open.science/r/GLIP 上公开获取。