教学质量很重要：完善教学以实现有效的偏好学习

偏好学习使用响应对来优化模型，但这些对的信息量从根本上是由生成它们的指令决定的。我们认为指令质量是偏好学习中的一个隐藏瓶颈：低质量或模糊的指令限制了响应质量的分布，限制了强选择的响应并削弱了偏好信号。通过最好和最差的 N 分析，我们表明指令质量限制了采样响应质量的上限和下限。受这一观察的启发，我们引入了一个指令细化管道，该管道使用奖励信号选择弱指令，并使用标题引导的 LLM 反馈对其进行修改，从而在不丢弃示例的情况下改进偏好数据。在离线和在线偏好学习设置中，多个模型和基准的实验显示了原始数据和替代数据改进策略的广泛一致性改进。进一步的分析表明，指令细化提高了可实现的响应质量，并补充了以响应为中心的偏好数据管理。总体而言，指令质量成为控制如何形成 LLM 对齐的信息偏好信号的关键因素。代码位于：https://github.com/01choco/instruction-refinement/