LoReC：重新思考 大语言模型 的图数据分析

大语言模型 (LLM) 的出现从根本上重塑了我们与图交互的方式，催生了一种称为 GraphLLM 的新范式。最近的研究表明，图学习可以从 LLM 中受益。然而，当我们直接利用 LLM 在 GraphLLM 范式中对图相关任务进行预测时，我们观察到的好处有限，与传统的基于 GNN 的方法相比，甚至产生了次优的结果。通过深入分析，我们发现这种失败的原因是LLM处理图数据的能力有限，并且容易忽视图信息。为了解决这个问题，我们提出了 LoReC（Look、Remember 和 Contrast），这是一种新颖的 GraphLLM 范式的即插即用方法，它通过三个阶段增强 LLM 对图数据的理解：（1）Look：重新分配对图的注意力； （2）记住：将图信息重新注入前馈网络（FFN）； (3)对比：纠正解码过程中产生的普通logits。大量实验表明，LoReC 相对于当前的 GraphLLM 方法带来了显着改进，并且在不同数据集上的性能优于基于 GNN 的方法。该实现可在 https://github.com/Git-King-Zhan/LoReC 获取。