ScalableRAG：零摄取成本的高质量RAG

近期RAG的进展倾向于通过支付高昂的知识摄取成本来优化性能：构建知识图谱或抽取SQL表。本工作表明，这类知识库所支持的操作可以在零摄取成本下复现（连向量数据库都不需要）；事实上，我们的方案Zero-Ingestion ScalableRAG在本文考察的六个语料中的三个上轻松超越所有基线（包括知识图谱方法），在另外三个上也只是略逊于最高性能，在全部六个数据集上的平均准确率比次有竞争力的基线高7.36%。它通过维护一个可读写的文档集合与值集合工作区来实现这一点，从而在所有需要按主键分组、且该主键与全部文档集的一个子集一一对应的情况下进行即时聚合推理。通过将LLM调用次数上限设为与语料规模无关的常数，我们还提出Limited-Ingestion ScalableRAG，它确实使用一个最小化的向量数据库以及从文档样本中自动发现的模式，以在规模化时进一步提升准确率。代码见 https://github.com/cohesity/ScalableRAG 。