使用压缩文档表示进行高效的列表重排序

重新排序是精炼第一阶段 检索器 输出的过程，通常被认为计算成本较高，尤其是在使用 大语言模型 (LLM) 时。降低此成本的常见方法包括使用较小的 LLM 或控制输入长度。受检索增强生成（RAG）文档压缩最新进展的启发，我们引入了 RRK，这是一种高效且有效的列表重排序器，可将文档压缩为多词元固定大小的嵌入表示。我们通过 蒸馏 进行的简单训练表明，丰富的压缩表示和列表重排序的结合产生了一个高效且有效的系统。特别是，我们的 8B 参数模型的运行速度比较小的重新排序器（0.6-4B 参数）快 3 倍到 18 倍，同时在有效性上匹配或超越它们。在长文档基准测试中，效率提升更为显着，RRK 进一步扩大了其优势。