超级智能检索代理:代理检索的下一个前沿
Superintelligent Retrieval Agent: The Next Frontier of Agentic Retrieval
摘要
检索增强代理越来越多地成为大型知识库的接口,但大多数将检索视为黑匣子:它们发出探索性查询、检查片段并重新制定,直到证据出现。这类似于新手搜索不熟悉的数据库的方式,而不是专家如何通过对术语和可能证据的强大先验来导航它,从而导致额外的检索轮次、延迟和较差的召回率。我们引入了 \textit{超级智能检索代理} (SIRA),它将检索中的 \emph{超级智能} 转换为将多轮探索性搜索压缩为单个语料库判别性检索操作。 SIRA 不仅仅询问哪些术语相关;还询问哪些术语相关。它询问哪些术语将所需的证据与语料库级别的混淆者分开。离线时,LLM 通过缺失的搜索词汇丰富每个文档;在查询时,它预测查询省略的证据词汇;语料库统计作为工具调用,过滤不存在、过于常见或不太可能创造检索余量的术语。最后一步是单个加权 BM25 调用,将查询与经过验证的扩展相结合。在十个 BEIR 基准测试中,SIRA 在我们的比较中实现了最强的平均检索性能,击败了密集 检索器、学习稀疏 检索器 和 LLM 搜索代理基线,同时不使用相关标签或 检索器 微调。在下游 QA 上,其仅检索答案的覆盖范围超过了 NQ 和 HotpotQA 上最近经过 RL 训练的代理 QA 系统。我们还引入了 \textbf{BrowseComp-Wikipedia},这是一个对 25,587,229 个文档的维基百科索引进行 232 个 BrowseComp 派生查询的硬搜索基准。即使没有索引时间丰富,仅使用扎根的维基百科类别,SIRA 在每个预算下都优于多轮 Perplexity 代理,达到 9.70% Recall@1、15.27% Recall@10 和 36.14% Recall@100。