论文
GNN-as-Judge:通过 GNN 反馈释放 LLM 的图学习能力
GNN-as-Judge: Unleashing the Power of LLMs for Graph Learning with GNN Feedback
摘要
大语言模型(LLM)由于其对文本节点特征的卓越语义理解能力,在文本属性图(TAG)上表现出了强大的性能。然而,它们在标记节点严重有限和稀缺的低资源环境中作为预测因子的有效性仍然受到限制,因为 微调 LLM 通常需要足够的标记数据,特别是当 TAG 显示复杂的结构模式时。本质上,本文针对两个关键挑战:(i)在 LLM 的标签上生成和选择可靠的伪标签的难度,以及(ii)当 微调 LLM 具有伪标签时需要减轻潜在的标签噪声。为了应对这些挑战,我们提出了一个新的框架,GNN-as-Judge,它可以通过结合图神经网络(GNN)的结构归纳偏差来释放 LLM 的力量,用于 TAG 上的小样本半监督学习。具体来说,GNN-as-Judge 引入了一种协作伪标记策略,首先从标记节点中识别出影响最大的未标记节点,然后利用 LLM 和 GNN 之间的一致和不一致模式来生成可靠的标签。此外,我们开发了一种弱监督的 LLM 微调 算法,该算法可以从信息丰富的伪标签中提取知识,同时减轻潜在的标签噪声。对多个 TAG 数据集的实验表明,GNN-as-Judge 的性能显着优于现有方法,特别是在标记数据稀缺的资源匮乏的情况下。