论文

用于长上下文处理的以查询为中心和内存感知的重排序器

Query-focused and Memory-aware Reranker for Long Context Processing

上下文与知识检索增强

摘要

基于 大语言模型 中检索头的现有分析,我们提出了一种替代的重新排序框架,该框架训练模型以使用所选头的注意力分数来估计段落查询相关性。这种方法提供了一种列表式解决方案,可以在排名过程中利用整个候选候选名单中的整体信息。同时,它自然地产生连续的相关性分数,从而能够在任意检索数据集上进行训练,而无需李克特规模的监督。我们的框架轻量级且有效,只需要小规模模型,例如 3B 参数,即可实现强大的性能。广泛的实验表明,我们的方法优于跨多个领域(包括维基百科和长叙述数据集)的现有最先进的点式和列表式重排序器。它进一步在 LoCoMo 基准上建立了新的最先进水平,用于评估对话理解和内存使用情况。我们进一步证明我们的框架支持灵活的扩展。例如,用上下文信息增强候选段落进一步提高了排名准确性,同时训练中间层的注意力头可以在不牺牲性能的情况下提高效率。