论文

UNIT:释放大语言模型在图持续学习中的潜力

UNIT: Unleash Large Language Models Potential for Graph Continual Learning

模型训练持续学习

摘要

在真实世界的多模态网络场景中,图结构数据常以流式方式到达,使图持续学习成为持续建模这类演化结构的关键范式。但既有图持续学习方法面临两个根本挑战:1) 语义—结构分离——图方法擅长建模拓扑关系却忽视深层语义;2) 不均衡的知识转移——既有模型未能有效利用从早期任务获得的通用知识惠及后续新任务。为解决上述问题,我们提出新框架UNIT(释放LLM潜力用于图持续学习)。仅在第一个任务上微调大语言模型,弥合预训练LLM语料与目标任务数据集间的分布差距,提升LLM对图结构任务的适配性;同时提出不确定性感知的锚点生成机制,跨任务有效保存代表性知识,避免忽视从既往任务学到的通用知识;此外引入结构汇流建模,把图拓扑信息显式整合进语义信息,增强语义理解与结构建模的协同能力。大量实验表明所提方法在图持续学习任务上取得最先进表现。

UNIT:释放大语言模型在图持续学习中的潜力:论文配图
图 1. 工作流程比较。现有的图持续学习方法需要针对每个任务从头开始训练 GNN 模型。相比之下,我们提出的框架仅在第一个任务上微调 LLM,而后续任务则根据冻结参数 LLM 更新分类器。