ResRank：通过带有残余通道压缩的端到端联合训练来统一检索和列表重排序

基于 大语言模型 (LLM) 的列表重新排名已成为在信息检索中实现最先进排名有效性的主导范例。然而，它依赖将完整段落文本输入 LLM 引入了两个关键瓶颈：随着输入长度的增长，“中间丢失”现象会降低排名质量，并且推理延迟随序列长度超线性扩展，使其对于工业部署来说不切实际。在本文中，我们提出了 ResRank，一个统一的检索重排序框架，从根本上解决了这两个挑战。受到多模态 LLM 将视觉输入投射到紧凑的标记表示中的启发，ResRank 采用 Encoder-LLM 将每个候选段落压缩为单个嵌入，然后将其与查询文本一起输入到 Reranker-LLM 中进行列表排名。为了减轻压缩表示空间和排序空间之间的不对齐，我们引入了一种残差连接结构，它将编码器嵌入与来自重排序器的上下文隐藏状态相结合。此外，我们用一种基于余弦相似度的一步评分机制取代了传统的自回归解码，完全消除了生成瓶颈。 ResRank 通过精心设计的双阶段、多任务、端到端联合优化策略进行训练，该策略同时训练编码器和重排序器，实现检索和重排序之间的学习目标对齐，同时大幅降低训练复杂性。对 TREC 深度学习和八个 BEIR 基准数据集的大量实验表明，与现有方法相比，ResRank 实现了有竞争力或优越的排名效果，同时需要零生成的标记，并且每个段落仅处理一个标记，从而在有效性和效率之间实现了根本上更好的平衡。