论文

GraspLLM:使用 LLM 实现文本属性图的零样本泛化

GraspLLM: Towards Zero-Shot Generalization on Text-Attributed Graphs with LLMs

上下文与知识上下文工程

摘要

文本属性图(TAG)的研究最近因其在各种现实数据场景(例如引文网络、电子商务平台、社交媒体和网页)中的广泛应用而受到广泛关注。受到大语言模型(LLM)卓越的语义理解能力的启发,人们进行了无数次尝试将LLM集成到标签中。然而,现有的方法仍然难以泛化不同的图和任务,并且它们捕获可转移图结构模式的能力仍然有限。为了解决这个问题,我们引入了 GraspLLM,一个将图结构理解与 LLM 的语义理解能力相结合的框架,以增强跨数据集和跨任务的通用性。具体来说,我们使用冻结的通用嵌入模型在统一的语义空间中表示来自不同图形的节点文本,在此基础上,我们在多个主题引起的邻接矩阵中执行主题感知对比学习,以提取与数据集无关的结构信息。然后,利用我们提出的最佳上下文子图,我们为每个目标节点提取上下文最相关的子图,并通过对齐投影仪将这些子图对齐到 LLM 的标记空间。对跨越不同领域的 TAG 基准数据集进行的广泛实验表明,GraspLLM 始终优于之前基于 LLM 的 TAG 方法,尤其是在零样本场景中,突显了其跨不同数据集和任务的强大通用性。我们的代码可在 https://github.com/Heinz217/GraspLLM 获取。