校准偏好学习：标签排序案例

校准，即预测概率与真实结果频率的一致性，对于可靠的决策至关重要。虽然对分类和回归进行了广泛的研究，但尚未正式解决概率标签排序的校准问题，其目标是预测标签集排序的分布。天真地将排名视为类别会忽略它们的结构，并且无法捕获重要的模式，例如成对和前 k 预测。我们对标签排名进行了形式化校准，并开发了涵盖完整排名、子排名和前 k 排名的概念层次结构。我们证明满秩校准意味着其他校准，但不能相反，并且子排序和top-k校准是不可比的。根据经验，我们发现流行的标签排名模型通常校准不佳，子排名和前 k 指标之间存在巨大差异。将我们的框架应用于 RLHF 奖励模型，我们发现校准与基准精度密切相关，但并不完全相关，这表明它捕获了超越 top-1 精度的有意义的质量维度。这些发现激发了未来了解校准错误的下游影响并开发纠正方法的工作。