论文
GraphLoRA:大语言模型 推荐的结构感知低秩适应
GraphLoRA: Structure-Aware Low-Rank Adaptation for Large Language Model Recommendation
摘要
大语言模型(LLM)由于其强大的推理和泛化能力而显示出强大的推荐潜力(LLMRec)。然而,有效地将 LLM 建模的文本语义与协作信号保持一致仍然是一个关键挑战。现有方法要么将协作信息转换为文本提示,要么将预先训练的嵌入注入到 LLM 中,这两种方法都将结构信息视为静态输入,并且无法捕获高阶关系依赖性。为了弥补这一差距,我们提出了 GraphLoRA,这是一种新颖的框架,它将低秩适应从独立传播推广到结构感知传播。 GraphLoRA 在低秩适应路径中嵌入了可训练的图消息传递网络,使结构信号能够通过参数空间传播。这种设计允许协作拓扑明确指导参数更新,促进图结构和文本语义信息之间的深度集成。对多个基准的大量实验表明,GraphLoRA 不仅优于最先进的基于 LLM 的推荐方法,而且还实现了卓越的泛化能力,有效地平衡了结构推理能力和计算效率。代码可在 \href{https://github.com/wgj15965/GraphLoRA}{https://github.com/wgj15965/GraphLoRA} 获取。