为LLM检索平衡相关性与多样性

检索多样化在检索增强生成（RAG）框架中广泛使用，但先前的研究对于它是否可以提高检索和答案质量存在分歧。我们表明，其有效性主要随候选池冗余而变化，其模式与查询所需的不同证据片段的数量一致。使用受控的近重复注入和生产式重叠分块，我们发现多样化会损害干净池上的相关性、证据覆盖率和答案质量，但当冗余导致最近邻检索选择重复的段落时，对多证据任务变得有益。因此，我们引入了一种查询自适应规则，仅当最近邻 top-$k$ 选择中不同文档的有效数量低于查询的证据要求时，该规则才会多样化。该规则根据现有嵌入进行计算，捕获大部分可实现的增益，跨数据集和编码器传输，并自动减少到单证据查询的最近邻检索。我们还引入了 RNG-Score，一种具有精确最近邻后备的几何重新排序器，其边距指示重复结构。总体而言，我们的结论是，应根据可观察到的冗余和证据要求有选择地使用多元化。