论文

RAGFlow以知识编译和受控检索循环减少Agent上下文消耗

Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses

上下文与知识智能体系统上下文工程检索增强Agent Harness

摘要

检索增强生成正在转向Agentic方式。搜索harness编写查询、读取结果、改写查询,并决定何时停止。在本文实验中,仅使用BM25/grep和MiniMax M3、无需编译索引或向量索引的harness,就能回答BrowseComp-Plus中85%的问题和多跳FRAMES中91%的问题。但上下文问题随之显现:缺少约束的循环会重复查询、反复读取文档,并用未使用的段落填满窗口。缺少的层是知识编译,即通过可配置的数据接入流程,由LLM为文档补充任何单个分块都不包含的上下文,包括以“主张—证据”为叶节点的导航层级、实体图、时间线、思维导图、本体、wiki和记忆。编译本身不是更强的检索器:在具备能力的harness下,结构化产物在FRAMES上未带来可检测的准确率提升,PageIndex式大纲随规模扩大还会退化。它更像上下文供给层。本文测量的“主张—证据”导航树,在证据足够时使查询token减少91%,不足时增加1.9%,平均减少38%,由此算得盈亏平衡的证据充分率为2%,实测充分率接近43%。决策门控将延迟从140秒降至30秒,但替代机制节省token需要付出检索轮次和相应延迟。其余本体、图谱、wiki、时间线、思维导图和记忆产物,在治理、系统集成、新用户接入、时间定位及连续性等部署需求中体现价值,这些收益难以在准确率基准中观察。我们介绍RAGFlow的流程与harness(开源于https://github.com/infiniflow/ragflow),将循环组织为五个受约束环节,使进入模型的上下文保持为最小充分集合。二者共同构成面向Agent的原生数据库,向Agent提供编译和治理后的上下文,而非仅提供段落排序列表。

2610.41172v1:论文原图
图 1:上下文作为基础设施。知识编译是供应方:将原始文档丰富为类型化上下文工件的摄取管道。 harness 是控制端:它决定哪个工件(如果有)进入窗口以及循环何时停止。工具是它们之间的契约。箭头显示上下文的流动,而不是控制。导航树(突出显示)的叶子是主张-证据对,是本文测量的机制;本体工件(突出显示)的价值主要是商业价值而不是基准可见性。