位置偏差对大模型列表式重排序的影响

基于 LLM 的列表式段落重排序因其对候选段落排序的有效性而引起了人们的关注。然而，这些模型存在位置偏差，即位于输入末尾的段落不太可能移动到排名的顶部位置。我们假设位置偏差有两个主要来源：（1）LLM 固有的架构偏差和（2）相关文档的不平衡定位。为了解决这个问题，我们提出了 DebiasFirst，一种在 微调 期间集成位置校准和位置感知数据增强的方法。位置校准使用逆倾向评分，通过在训练时重新加权损失函数中不同位置的贡献来调整位置偏差。位置感知增强增强了训练数据，以确保每个段落在输入列表中的不同位置上均等地出现。这种方法显着增强了不同第一阶段 检索器 原始排名的有效性和鲁棒性，减少了 NDCG@10 性能对相关文档位置的依赖。 DebiasFirst 还补充了推理阶段去偏差方法，为减轻重新排名中的位置偏差提供了实用的解决方案。