RLM-on-KG:启发式优先,需要时 LLM:对分散证据的提及图进行自适应检索控制
RLM-on-KG: Heuristics First, LLMs When Needed: Adaptive Retrieval Control over Mention Graphs for Scattered Evidence
摘要
对于知识图探索,LLM 控制器何时优于基于规则的遍历?我们通过 RLM-on-KG 研究这个问题,这是一个检索系统,它将 LLM 视为 RDF 编码提及图上的自主导航器,以进行基础问答。与依赖离线 LLM 索引的 GraphRAG 管道不同,RLM-on-KG 使用确定性图构造和固定工具集在查询时执行实体优先、多跳探索。我们的中心发现是一个条件优势:LLM 控制的价值取决于证据的分散性和工具调用的复杂性。该论文的核心主张是 LLM 控制与启发式遍历的比较,而不是对 GraphRAG 的一般性胜利。在 GraphRAG-Bench Novel(519 个问题)上,Gemini 2.0 Flash 在基于规则的启发式基线上实现了 +2.47 pp F1(p < 0.0001),但在 GraphRAG 本地变体上仅实现了 +0.16 pp(不显着)。使用更强大的控制器 Claude Haiku 4.5,启发式的增益增长到 +4.37 pp (p < 0.001),并且比 GraphRAG-local (p < 0.001) 显着提高到 +2.42 pp。当参考证据分散在 6-10 个块中时,增益最大 (+3.21 pp),而集中证据的增益最小 (+1.85 pp)。 MuSiQue 上的跨规模验证证实了 LLM 的启发式优势转移,并且在较小的每个问题图上预期衰减。核心架构洞察是将候选发现与排名分开:LLM 通过探索广度增加价值,而最终证据选择最好通过纯向量重新排名来处理。除了检索之外,探索跟踪还为结构化数据质量提供了拟议的压力测试工具,从而对覆盖范围、连接性、来源和可查询性进行诊断。