M-RAG：用于检索增强生成的语义键值索引

检索增强生成 (RAG) 将外部文档转化为 大语言模型 的证据。实际上，这也是一个数据访问问题：系统必须决定索引什么、检索什么以及在 词元预算 下的上下文中放置什么证据。大多数 RAG 管道使用文本块进行查找和生成。这结合了两个不同的目标。检索受益于紧凑和有区别的记录，而生成则需要上下文和忠实的证据。因此，小块可能会碎片化承载答案的信息，而大块可能会引入噪音并浪费上下文预算。我们提出了 M-RAG，一种用于预算受限的 RAG 查询处理的语义键值索引层。 M-RAG 从完整文档中提取元标记，其中每个记录包含检索键、信息值和来源指针。在线检索对关键字段进行操作，可以通过密集向量检索或稀疏词法检索进行检索；配对值作为生成有效负载返回并在 词元预算 下组装。来源指针进一步支持覆盖验证和位置感知上下文排序。此设计将物理索引条目与证据有效负载分开，而不更改底层 检索器 或生成器。 LongBench QA 子任务的实验表明，M-RAG 比代表性的基于块的基线具有竞争性或更好的准确性，特别是在严格的 词元预算 下。进一步分析表明，文档覆盖率高，候选语料库扩展时鲁棒性更强，在线检索延迟更低。这些结果表明语义键值索引是 RAG 工作负载的实用访问方法。