RW-DPO：联合学习偏好方向和比较可靠度以抑制翻转标签

直接偏好优化（DPO）将每条报告的比较都当作正确，但偏好数据可能包含方向颠倒、平局或其他带噪比较。RW-DPO 为每条比较引入未知可靠性权重 $w_i\in[0,1]$，使其线性进入似然；DPO 对应 $w\equiv1$，反向比较对应 $w_i=0$。方法在 $-\log w_i$ 上施加极小极大凹惩罚，与策略联合估计权重。惩罚使模型认同的每条比较严格保持 $w_i=1$，仅作用于模型不认同的比较，并通过闭式权重更新完成，相比 DPO 的额外成本可忽略。作者证明，要从每条比较的单次标注中恢复所有翻转比较，需要 $\log n$ 量级的间隔。进一步地，在线性指标模型中，只要初始拟合指向正确方向，即使固定比例的比较被翻转，估计器也能联合一致地恢复偏好方向和权重，并识别间隔高于该尺度的翻转比较。在模拟中，RW-DPO 的平均估计误差低于 DPO、噪声率校正及近期稳健方法，对错误比较的标记也比近期标签校正方法精确得多。在10%–30%标签翻转的语言模型 DPO 微调中，其胜率不随翻转率上升而下降，还超过用干净标签训练的 DPO，并匹敌近期最强、将校正集中于翻转标签的方法。