论文

PromptGNN-sim:GNN与LLM的深度融合与对齐用于文本属性图学习

PromptGNN-sim: Deep Fusion and Alignment of GNN and LLMs for Text-Attributed Graph Learning

模型架构混合架构

摘要

文本属性图(TAG)结合文本语义与图结构,是许多图学习任务的核心。但既有融合方法常把文本与结构当浅层单向管线的分离输入——限制模态间深度交互并在稀疏连通或跨图泛化下削弱表现。我们提出PromptGNN-sim:面向GNN-LLM协作学习的双向结构-语义融合框架。PromptGNN-sim以图注意力网络(GAT)做语义感知的邻域选择——结合结构注意力与文本相似度;选出的结构上下文用于为LLM生成结构感知提示——含目标节点摘要、标签类别与相似邻居的代表性关键词。训练时引入双向跨模态对比学习与交叉注意力联合优化GNN与LLM组件。六个公开数据集(含Cora、Pubmed与WikiCS)上评估准确率、泛化与鲁棒性——跨任务迁移、跨数据集泛化与稀疏扰动下。结果显示PromptGNN-sim超越经典GNN、LLM与近期GNN-LLM融合方法。

PromptGNN-sim:GNN与LLM的深度融合与对齐用于文本属性图学习:论文配图
图 1:PromptGNN-sim 的架构。该框架首先使用 LLM 为节点生成文本描述,通过 LM 将它们转换为语义嵌入,并通过可学习的融合模块将它们与基于 GNN 的结构嵌​​入融合。