覆盖错觉：从生产 RAG 系统中的检索前路由失败到检索后级联

在现代 RAG 管道中，查询增强方法（例如 HyDE 和查询扩展）应用于每个查询，导致大量的 LLM 推理成本并增加端到端延迟。实际生产流量中这种开销的经验合理性在很大程度上仍未得到探索。我们提出了丹麦国家百科全书的案例研究，评估了来自生产流量和合成条件的超过 20,000 个查询工作流对的五个检索工作流。在此系统中，综合查询表明超过 90% 的查询需要 LLM 增强才能实现高检索覆盖率。然而，根据我们的生产延迟策略，只有 27.8% 的真实用户查询需要 LLM 增强。我们将这种差距称为覆盖错觉，并将其归因于合成查询分布与真实查询分布之间的结构不匹配。预检索路由无法解决这一差距，因为只有在搜索索引后才会发现 LLM 增强的需求，这一结果通过我们对四种机器学习范例的评估得到证实。仅通过查询无法检测到覆盖范围差距，它会激发检索后级联，该级联以最便宜的优先顺序运行工作流，并仅在步骤不返回文档时升级到 LLM 扩充。完全无需训练开销或辅助服务基础设施即可运行，与 Always-HyDE 相比，级联将质量提高了 +0.140 综合总体点，将延迟减少了 31.8%，并在没有 LLM 增强的情况下为 72.2% 的真实用户查询提供服务。