SVD-RAG：通过奇异值分解实现高效的树组织检索增强生成

检索增强生成 (RAG) 系统通过从外部知识库检索相关文档来增强 大语言模型。 Sarthi 等人的最新工作。 (2024) 引入了 RAPTOR，它将文档组织成分层树结构以进行高效检索，但需要在每个内部节点进行昂贵的基于 LLM 的抽象摘要——使得大规模部署成本高昂。我们提出了 SVD-RAG，这是第一种在密集句子嵌入矩阵上应用奇异值分解 (SVD) 的方法，用于分层 RAG 中的提取摘要。与在稀疏 TF-IDF 矩阵上运行的经典 LSA 不同，SVD-RAG 利用现代嵌入模型的丰富语义表示，通过主成分中的能量贡献来识别信息量最大的句子。我们的方法是（1）确定性的——与基于 LLM 的汇总不同，SVD 对于相同的输入产生相同的结果； (2) 成本效益高——除了初始嵌入之外，树的构建不需要额外的 API 调用，从而减少了约 85% 的词元消耗； (3)内容自适应——能量比阈值tau根据内容复杂性自动调整压缩。在使用相同语料库、聚类和集束搜索的受控头对头比较中，SVD-RAG 通过 LLM 概括实现的检索质量在 RAPTOR 的 1-5% 范围内（MRR 0.867 与 0.875，Recall@1 0.483 与 0.458），同时构建树的速度提高了 317 倍（0.1 秒与 0.458）。 31.7秒）。在跨 20 个主题变体的 205 个块和 100 个查询的扩展多主题基准上，SVD-RAG 与平面嵌入检索相比，Recall@1 提高了 4.2 倍，MRR 提高了 3.1 倍。我们提供详细的成本分析和参数敏感性研究。我们的实现作为开源 Python 包发布。