论文
生成以加速:通过 LLM 生成的枢轴文档改进重新排名
Generate to Accelerate: Improved Reranking via LLM-Generated Pivot Documents
摘要
减少重新排序模型的计算开销的常见方法包括识别用于重新排序的候选文档集或构建比较图以最小化冗余比较。对于逐点排名器,确定候选集通常涉及根据排名靠前的文档的分数来估计依赖于查询的截止值。相比之下,列表方法的比较图通常是使用启发式导出的,例如以自下而上的方式在滑动窗口内传播局部比较,或者以自上而下的方式通过基于枢轴的策略减少比较。在这项工作中,我们认为将这些过程限制在集合中的现有文档是没有必要的。相反,我们建议利用 大语言模型 的生成功能来合成给定查询的伪相关文档。然后,我们采用现有的重新排名方法,并提出一种新颖的并行重新排名方法,以利用 LLM 生成的文档作为枢纽。我们的实验表明,使用 LLM 生成的主元进行排序列表截断可将逐点排序器推断的数量减少多达 66%。在域内和域外设置中,我们观察到列表重新排名的加速速度高达 $2.95\times$,同时保持可比较或改进的检索效率。