扩展 RAG 的 DPP：密度满足多样性

检索增强生成 (RAG) 通过将生成基于外部知识来增强 大语言模型 (LLM)，产生与事实证据和不断发展的语料库相一致的相关响应。标准 RAG 管道通过相关性排名构建上下文，在用户查询和每个语料库块之间执行逐点评分。然而，这种表述忽略了检索到的候选者之间的相互作用，导致冗余上下文，稀释了密度并且无法呈现补充证据。我们认为，有效的检索应该针对密度和多样性进行联合优化，确保信息密集但覆盖面多样化的基础证据。在本研究中，我们提出了 ScalDPP，这是一种 RAG 的多样性感知检索机制，它通过轻量级 P-Adapter 合并了决定点过程 (DPP)，从而实现了块间依赖关系的可扩展建模和互补上下文选择。此外，我们开发了一个新颖的集合级目标，即多样化保证金损失（DML），它强制 真值 互补证据链在 DPP 几何条件下主导任何同等大小的冗余替代方案。实验结果证明了ScalDPP的优越性，在实践中证实了我们的核心观点。