AlignDiff：利用模型内在信息更好地选择偏好数据

将 大语言模型 与人类偏好保持一致仍然是一个挑战，这主要是由于偏好数据质量在有效对齐中的关键作用。现有数据集经常受到固有噪声和分布变化的困扰，这本质上限制了模型性能。为了弥补这一差距，我们提出了 AlignDiff，这是一种由内在模型信号驱动的偏好数据过滤框架。 AlignDiff 首先使用正信号和逆信号识别具有明确偏好的样本，然后根据平均负对数似然差距优先考虑更具挑战性的样本，从而鼓励模型从中学习更丰富的信息。 AlignDiff 在两个广泛使用的模型系列（LLaMA 和 Qwen）和对齐社区广泛采用的三个基准（AlpacaEval 2.0、Arena-Hard 和 MT-Bench）上进行评估。在所有设置中，它始终优于七个强大的基线。我们进行了全面的消融研究来验证 AlignDiff 的有效性，并进一步表明基于难度的课程学习可以提高模型性能。