论文
知识不是静态的:用于语言模型的顺序感知超图 RAG
Knowledge Is Not Static: Order-Aware Hypergraph RAG for Language Models
摘要
检索增强生成 (RAG) 通过将输出基于检索到的知识来增强 大语言模型。然而,现有的 RAG 方法(包括基于图和超图的方法)将检索到的证据视为无序集,隐含地假设排列不变性。这种假设与许多现实世界的推理任务不一致,这些任务的结果不仅取决于发生的交互,还取决于它们展开的顺序。我们提出了顺序感知知识超图 RAG (OKH-RAG),它将顺序视为一流的结构属性。 OKH-RAG 将知识表示为超图中增强的优先级结构中的高阶交互,并将检索重新表述为超边上的序列推理。它不是选择独立的事实,而是恢复反映潜在推理过程的连贯交互轨迹。学习的转换模型直接从数据推断优先级,而不需要显式的时间监督。我们在顺序敏感的问答和解释任务上评估 OKH-RAG,包括热带气旋和港口运营场景。 OKH-RAG 始终优于排列不变基线,并且消融表明这些增益特别来自于建模交互顺序。这些结果凸显了基于集合的检索的一个关键限制:有效的推理不仅需要检索相关证据,还需要将其组织成结构化序列。