论文
生成后验证主导检索优化：RAG 管道功能的 2^4 阶乘消融
Post-Generation Verification Dominates Retrieval Optimization: A 2^4 Factorial Ablation of RAG Pipeline Features
摘要
现代 RAG 管道堆叠了许多增强功能，但这些功能通常是单独验证的，而无法测量它们的交互。我们对四个管道功能（部分扩展 (SE)、Agentic 搜索 (AS)、完整性检查 (CC) 和目录引导检索 (ToC)）运行 2^4 全因子消融，跨 16 个配置、跨越 8 种交互类型的 24 个查询以及五个公共文档（78-492 页）上的两个云类模型（768 个条件），根据经过验证的参考对每个答案进行评分。生成后验证占主导地位：CC 是最强的特征（d=+0.48，p<0.001），同时提高了准确性、完整性和实用性，并且单独的 CC（4.31/5）优于没有它的所有配置，包括三特征 SE+AS+ToC（4.11）。 ToC 以零 LLM 成本产生显着收益 (d=+0.22)； AS规模小且不稳定，对某些查询有帮助，对另一些查询有害； SE是中性的。最高质量的配置大约使基线延迟加倍，产生六种配置的真正质量延迟帕累托前沿。特征效用强烈依赖于查询类型——CC 在要求完整性的查询上达到 d=+0.83——因此单一查询类型的评估会系统性地对特征进行错误排序。我们的结论是，验证答案比优化检索更重要，并且具有不同查询类型的因子设计对于评估 RAG 特征是必要的。