CAMI：用于语义检索的成本感知代理引导多重索引

RAG 摄取管道经常使用语义丰富索引（例如，从语料库块生成的综合查询或摘要）来增强搜索语料库索引，随后与基本索引一起查询这些索引，以通过文档表示和用户意图之间更好的对齐来改进检索。虽然这些补充表示极大地提高了检索质量，但它们引入了计算瓶颈：丰富类型和生成器模型的配置空间是组合的，并且详尽的索引时间评估的成本与语料库大小成线性比例。我们引入 CAMI（成本感知多重指数），这是一个将多指数构建形式化为预算、多目标投资组合选择问题的框架。 CAMI 的目标是在应用检索后端之前生成和具体化哪些丰富视图的上游决策。 CAMI 包含三个主要机制：（i）代理发现阶段，提出特定于语料库的表示模板； (ii) 原子单元搜索程序，评估各个富集模型对并通过保真局部闭包将它们重新组合以识别协同投资组合； (iii) 一个有信心的升级计划，可以尽早修剪没有希望的配置，将优化支出与语料库总规模脱钩。我们评估不同检索语料库中的 CAMI。我们的研究结果表明，该框架在严格的预算限制下系统地隔离了高召回率组合，在具有挑战性的环境中，其召回率比仅包含标准内容的基线高出高达 9.4%@10。此外，与随机搜索基线相比，CAMI 能够使用最多 5 倍的预算来系统地识别这些高召回率组合，从而使我们的方法在实际生产场景中变得实用。