论文
STAR:用于图增强生成的语义调整和尾部自适应 检索器
STAR: Semantic-Tuned and Tail-Adaptive Retriever for Graph-Augmented Generation
摘要
为了增强 大语言模型 (LLM) 的多跳问答功能,图检索增强生成 (GraphRAG) 中的主流解决方案利用轻量级 检索器 从给定的知识图 (KG) 中高效地提取信息。然而,现有的方法往往忽视了图中稀疏语义信息的固有挑战。具体来说,我们的实验表明,这些方法会产生有偏差的检索语义快捷偏差和长尾路径偏差,导致语义建模不充分和 GraphRAG 有效性有限。为了解决这些问题,我们提出了 STAR,一种用于 GraphRAG 的语义调整和尾部自适应的 检索器。 STAR 集成了两个关键的学习范式:词元级 交互学习和路径加权对比学习。前者采用交叉注意架构和硬路径挖掘机制对查询和路径进行联合建模,从而减轻语义快捷方式偏差。后者引入了一个定制的对比学习目标,该目标利用尾部自适应路径权重,旨在优化训练过程并缓解长尾路径偏差。大量实验表明,STAR 始终优于基准,在所有基准数据集上平均检索性能提高 1.8%,LLM QA 性能提高 2.2%。我们的代码可在 https://anonymous.4open.science/r/STAR-C583 获取。