论文

Dr-DCI:经动态工作区扩展扩展直接语料交互

Dr-DCI: Scaling Direct Corpus Interaction via Dynamic Workspace Expansion

智能体系统Agent 工具调用

摘要

大型语料库上的代理搜索依赖于检索器介导的接口(例如 BM25 或 ColBERT)来实现可扩展的候选发现。虽然这些界面可以有效地对相关文档进行排名,但它们仅以排名结果或有限文档视图的形式公开证据,从而限制了代理重新组织材料和验证跨文档约束的能力。直接语料库交互 (DCI) 通过公开 shell 可执行语料库操作以进行灵活的搜索、过滤、比较和验证,从而解决了这一限制。然而,随着语料库的增长,全语料库终端命令变得缓慢且不稳定,从而降低了性能和效率。我们引入了 DR-DCI,这是一个检索器引导的 DCI 框架,它将检索视为用于扩展本地工作空间的代理可调用操作。代理不是直接在整个语料库上进行操作,而是动态地将相关文档拉入不断变化的工作区并在其中进行 DCI 操作。这种设计将检索器级别的召回率与 DCI 式的精度相结合:检索保持探索的可扩展性,而 DCI 保留有效证据解析所需的本地操作。实验表明 DR-DCI 在跨尺度上既有效又高效。在 Browsecomp-Plus 上,DR-DCI 的准确度达到 71.2%,与原始 DCI 和消融变体相比提高了 8.3 个百分点,同时减少了工具使用量、工作时间和估计成本。通过保留工作空间的上下文重置,准确率进一步提高到 73.3%。在语料库扩展实验中,DR-DCI 在 100K 到 10M 文档范围内仍然有效,而原始 DCI 变得不稳定,BM25 的表现要差得多。 DR-DCI 还可以扩展到约 2000 万份文档、每份一个文件的 Wiki-18 QA 场景,在六个基准测试中平均得分为 63.0,并且优于基于检索和经过训练的搜索代理基线。消融分析进一步表明,排名预览和文档间 DCI 是性能的关键。

Dr-DCI:经动态工作区扩展扩展直接语料交互:论文配图
图 1:DR-DCI 概述。检索被公开为用于扩展本地工作区的代理可调用操作。代理动态地将排序的文档拉入这个不断变化的工作区,然后使用 DCI 工具来调查和验证具体的证据。