论文
当重新排名受到伤害时:基于不确定性的门控进行少样本重新排名
When Reranking Hurts: Uncertainty-Based Gating for Few-Shot Reranking
摘要
少样本选择通常假设对检索到的示例进行重新排序总是可以提高性能。我们通过发现昂贵的重新排名步骤实际上会降低性能来挑战这一观点。相反,我们提出 \emph{无需训练 Gated Reranking},它决定是否根据模型的不确定性对少数样本进行重新排序。跨 8 个 LLM 的广泛实验,涵盖 7 个 NLU 数据集和 18 个 MT 域方向组合,表明我们的方法在校准操作点上将 MT 的平均计算成本降低了约 20%,将 NLU 的平均计算成本降低了 54%,同时与完全重新排序的性能相匹配。这些发现表明,较高的计算成本并不能保证更好的性能,并且当针对高不确定性实例时,重新排名是最有益的。