论文
长度偏置下的准确率与归一化准确率:分析、指南与贝叶斯替代
Accuracy and Normalized Accuracy under Length Bias: Analysis, Guidelines, and a Bayesian Alternative
摘要
以条件对数概率排序候选补全的多选题基准受长度偏置困扰:由于对数概率按token求和,实践中较长的答案相对较短者受罚。常见缓解是按补全长度归一化分数,但我们实证显示该启发式常过度校正——反而引入偏向更长答案的偏置。我们首先分析这些评分规则:刻画标准与长度归一化准确率何时适用、其长度偏置如何依赖补全长度的分布。受此分析启发,我们引入贝叶斯准确率:一种在显式的答案长度先验下计算每个候选后验概率的评分规则——从而消除线性长度效应。贝叶斯准确率是基于似然的多选题评估的即插即用替代,无需额外前向,并在跨基准与少样本设定中持续表现出比标准与长度归一化准确率更低的经验长度偏置。