论文
从 BM25 到 Corrective RAG:文本和表格文档的基准检索策略
From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents
摘要
检索增强生成(RAG)系统严重依赖于检索质量,但对于包含文本和表格数据的异构文档,目前还没有对现代检索方法进行系统比较。我们在具有挑战性的金融 QA 基准上对 10 种检索策略进行了基准测试,涵盖稀疏、密集、混合融合、跨编码器重新排名、查询扩展、索引增强和自适应检索,该基准对 7,318 个具有混合文本和表格内容的文档进行了 23,088 个查询。我们通过 Recall@k、MRR 和 nDCG 评估检索质量,并通过 Number Match 和配对引导显着性测试评估端到端生成质量。我们的结果表明:(1)混合检索与神经重排序相结合的两阶段流程实现了 0.816 的 Recall@5 和 0.605 的 MRR@3,大幅优于所有单阶段方法; (2) BM25 在金融文档上的性能优于最先进的密集检索,挑战了语义搜索普遍占主导地位的普遍假设; (3) 查询扩展方法(HyDE,多查询)和自适应检索为精确数值查询提供有限的好处,而上下文检索则产生一致的收益。我们提供有关融合方法和重新排序深度的消融研究、可行的成本准确性建议,并发布完整的基准代码。