论文
从空无中学习:以内容无关概率校准为listwise重排器去偏
Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration
摘要
生成式listwise重排利用全局上下文实现卓越检索,但受制于内在的位置偏差:模型在与相关性无关的情况下对输入顺序表现出结构性敏感。现有缓解方案呈现两难:推理时聚合带来难以承受的延迟,而基于训练的方法往往无法根除根深蒂固的先验,在紧凑模型中尤其如此。为化解这一两难,我们提出CapCal(Content-Agnostic Probability Calibration,内容无关概率校准),一个无需训练、以机制性方式将位置偏差与排序决策解耦的框架。通过内容空置占位符估计偏差分布,CapCal借助熵自适应对比机制校正输出logits。在10个基准上的评估证实,CapCal在免训练方法中取得更优性能,同时保持单次前向的效率。值得注意的是,它释放了轻量模型(如0.6B)的潜在能力,带来超过10个点的绝对NDCG提升,优于基于置换的聚合与数据增强基线。
