使用 Whole-Pool、Setwise、长上下文语言模型进行更高效的 LLM 重新排序

基于 LLM 的重新排序器通过重复的本地比较（列表、成对或逐点）生成排名，需要多次顺序模型调用。我们研究了当整个检索到的候选池适合上下文窗口时，长上下文 LLM 如何能够大大减少这种计算。我们引入了 Whole-Pool Setwise 重新排序，其中每次比较都会对整个候选池进行排名，并提出 DualEnd，它联合选择预测最相关和最不相关的候选。通过从两端填充排名，DualEnd 在 50 次 LLM 比较中构建了 100 个候选者的完整排名。在 TREC DL19 和 DL20 上使用 9 个开放权重 LLM 进行的实验表明，与之前使用堆排序的顶部导向窗口 Setwise 相比，这需要的比较次数减少 59.4%，比使用冒泡排序的顶部导向窗口 Setwise 减少 88.8%，即使这些基线仅针对前 10 名排名，而 DualEnd 则针对完整排名。 DualEnd 的 nDCG@100 与单端全池顶部导向方法的误差在 0.008 以内，同时将其词元消耗和排名时间大约减半。在六个 BEIR 数据集中，相对于单端全池顶部导向方法，DualEnd 分别减少了平均词元消耗和排名时间 49.4% 和 50.8%。这些结果表明，DualEnd Setwise 能够通过显着减少的 LLM 比较和跨多个骨干网的竞争有效性实现完全重新排名。