论文

AGE:图检索增强生成中图嵌入的自适应屏蔽

AGE: Adaptive-masking for Graph Embedding in Graph Retrieval-Augmented Generation

上下文与知识知识图谱

摘要

GraphRAG 是检索增强生成 (RAG) 的扩展,通过将图结构数据引用为外部知识来支持 大语言模型 (LLM)。虽然这种技术可以理想地捕获复杂的关系,但由于基于图形和基于文本的潜在特征之间的不一致,它经常难以处理 LLM 的图形表示,特别是对于冻结的 LLM。我们通过引入{\it Adaptive-masking for Graph Embedding (AGE)}来解决这个问题。 AGE 在基于掩码的自我监督学习 (SSL) 方法中采用了 Transformer。我们设计了类似于文本嵌入编码器的架构,解决了潜在的特征错位问题。与自然语言文本相比,图是简明的表示,并且存在包含主要上下文信息的{\it关键节点},这些信息很难从周围环境中进行预测。屏蔽此类关键节点会导致 SSL 过程效率低下。因此,AGE 专注于利用可学习的节点采样器来预测除关键节点之外的节点。我们的实验结果表明,AGE 显着改进了 GraphQA 任务中使用非参数搜索组件的方法,在四个具有不同特征的基准数据集上实现了卓越的准确性。