论文

搜索覆盖范围:学习具有增强子问题可回答性的覆盖范围感知检索

Search for Coverage: Learning Coverage-Aware Retrieval with Augmented Sub-Question Answerability

上下文与知识检索增强

摘要

长格式检索增强生成(RAG)带来了基于覆盖范围的排名的挑战,因为排名方法必须确保包含全面的相关金块(即事实),从而可以将其合成为综合输出。在这项工作中,我们提出了 CoveR(我们的代码可在 https://github.com/DylanJoo/CoveR 获得),这是一种针对覆盖感知检索场景进行优化的密集检索方法。 CoveR 是一种双编码器,采用基于覆盖范围的对比目标和 蒸馏 目标进行训练,使 CoveR 能够捕获信息需求的各个方面。为了训练 CoveR,我们创建了 SCOPE 数据集(我们的训练数据可在 https://huggingface.co/datasets/DylanJHJ/scope 获取),其中包含来自研究问题的 90K 训练对,以及由 LLM 生成的子问题可回答性判断增强的合成覆盖信号。我们的实证实验表明,与强密集检索基线相比,CoverR 将块金覆盖率提高了 10%,而无需牺牲其基于相关性的检索能力。进一步的消融研究验证了我们提出的学习方法的重要性,表明 CoveR 在基于相关性和基于覆盖范围的排名之间实现了卓越的权衡,这对于长格式 RAG 至关重要。