论文

超越Top-K:用可解释的Agentic操作替换黑盒检索

Beyond Top-K: Replacing Black-Box Retrieval with Interpretable Agentic Operations

上下文与知识智能体系统检索增强智能体互操作协议MCP

摘要

增强检索的长文档生成在设计上依赖于一个模式:将文本分块,嵌入分块,并突出显示查询的前k个最接近邻居。我们认为对于重要类别中的文档——财务报告、审计报告和监管报告——这种设计是结构上的不正确的,并且我们可以用数据来衡量这个观点。在一个780页的政府财务报告中,有86.8%的内容行是表格行,数千个几乎相同的数字在同一个嵌入空间竞争,一个数字继承其单位于其上方一行标题的平均数13行处——因此,分块边界经常将一个数字与是否属于百万或十亿区分开来,这是一个错误的数量级。一个带有表结构分块器的分块器作为钢人修复了单位问题,但在我们尝试的所有分块大小下,27-30%的数值分块没有财政年度标题。我们提出READ(Reliable Embedding-free Agentic Document-search),其中代理通过三个确定的操作——标准化词性搜索、结构导航和受限制跨度阅读——暴露在模型上下文协议中,从而轨迹成为可回放的审计记录,而不是不可见的相似度分数。在51个验证的问题上,READ回答了58.8%,而密集检索为15.7%(p_Holm = 2 x 10^-5)——或者35.3%调优,READ仍然领先23.5点(p_Holm = 0.017)。一个给定相同的循环但使用前k工具的代理只达到27.5%,在界面而不是迭代中定位收益。我们还报告了证据不支持的内容:BM25与READ统计上无关,因此我们的结果将嵌入式检索与非嵌入式检索区分开来,而不是代理与词性搜索区分开来。

超越Top-K:用可解释的Agentic操作替换黑盒检索:论文配图
图 5:相同的网格。颜色编码准确度;每个单元格都带有注释,因此无需斜坡即可读取该图。