论文

从空无中学习:以内容无关概率校准为listwise重排器去偏

Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration

模型推理推理验证与自校正

摘要

生成式listwise重排利用全局上下文实现卓越检索,但受制于内在的位置偏差:模型在与相关性无关的情况下对输入顺序表现出结构性敏感。现有缓解方案呈现两难:推理时聚合带来难以承受的延迟,而基于训练的方法往往无法根除根深蒂固的先验,在紧凑模型中尤其如此。为化解这一两难,我们提出CapCal(Content-Agnostic Probability Calibration,内容无关概率校准),一个无需训练、以机制性方式将位置偏差与排序决策解耦的框架。通过内容空置占位符估计偏差分布,CapCal借助熵自适应对比机制校正输出logits。在10个基准上的评估证实,CapCal在免训练方法中取得更优性能,同时保持单次前向的效率。值得注意的是,它释放了轻量模型(如0.6B)的潜在能力,带来超过10个点的绝对NDCG提升,优于基于置换的聚合与数据增强基线。

从空无中学习:以内容无关概率校准为listwise重排器去偏:论文配图
图 1:拟议的 CapCal 框架概述。该框架通过利用空通道查询捕获与输入无关的先验来解耦位置偏差。然后,我们应用对比解码从标准推理逻辑中减去该先验,从而实现校准排名。