论文
数据集搜索中代理混合检索的参考架构
A Reference Architecture for Agentic Hybrid Retrieval in Dataset Search
摘要
即席数据集搜索需要将未指定的自然语言查询与稀疏、异构的元数据记录进行匹配,这是仅靠典型的词汇或密集检索无法完成的任务。我们将数据集搜索重新定位为软件架构问题,并提出了一种用于代理混合检索的有界、可审核的参考架构,该架构将 BM25 词汇搜索与通过倒数排序融合 (RRF) 的密集嵌入检索相结合,由 大语言模型 (LLM) 代理精心编排,该代理重复规划查询、评估结果的充分性并对候选者重新排名。为了减少用户意图和提供者编写的元数据之间的词汇不匹配,我们引入了离线元数据增强步骤,其中 LLM 为每个数据集记录生成伪查询,在查询时间之前增强两个检索索引。研究了两种架构风格:单个 ReAct 代理和带有反馈控制的多代理水平架构。他们的质量属性权衡在可修改性、可观察性、性能和治理方面进行了分析。定义了一个包含七个系统变体的评估框架,以隔离每个架构决策的贡献。该架构作为软件架构社区的可扩展参考设计提出,结合了明确的治理策略来绑定和审计非确定性 LLM 组件。