论文

当更多文档损害 RAG 时:通过域范围内、模型无关的检索来缓解矢量搜索稀释

When More Documents Hurt RAG: Mitigating Vector Search Dilution with Domain-Scoped, Model-Agnostic Retrieval

上下文与知识检索增强

摘要

当扩展到大型异构文档集合时,检索增强生成会降低,其中密集的相似性会失去区分能力,并且 top-k 检索越来越多地返回语义相似但上下文不正确的块。我们将这种故障模式称为矢量搜索稀释。即使使用混合密集+稀疏检索,我们在部署的怀俄明州交通部语料库中也亲眼观察到了这一点,其中从 54 个文档扩展到 1,128 个文档(88,907 个块)将准确性从 75% 降低到 40% 以下。为了解决这种稀释问题,我们提出了 MASDR-RAG(RAG 的多代理范围域检索),并在五个 LLM 主干、六个语料库和两个索引堆栈上的 200 个经过专家验证的查询上对其进行评估。我们的结果表明,使用组织元数据确定域范围是关键解决方案,可将 P@10 从 0.77 显着提高到 0.86 ($p < 0.05$)。此外,我们对多代理编排的调查表明,高度的配置依赖结果——产生了我们所说的精确 忠实性 悖论。基于这些不同的结果,我们的实际建议很简单:首先确定范围,然后执行单个综合调用,为与本机工具调用主干配对的真正多域语料库保留完整的多代理编排。代码和数据将在接受后公开。