TuneJury：改善音乐生成偏好一致性的开放指标

我们引入了 TuneJury，这是一种用于文本到音乐的开放式实例级成对奖励模型，可根据文本提示和音频剪辑预测音乐偏好分数。发布的检查点是根据公开的人类偏好标签进行训练的，这些标签涵盖竞技场式（A 与 B）投票、度量对齐偏好对、众包成对比较和专家审美评级。两个剪辑之间的预测分数差距在我们保留的测试分割上得到了很好的校准，支持通过简单的分数阈值进行数据过滤。 TuneJury 概括了保留的测试对和分布外基准，与后者的先前基准保持竞争力。对于训练后发布的生成器，我们引入了锚点校准，这是一种事后的、按系统的 Bradley-Terry 校准，与从头开始的重新训练相比，它以更好的数据效率恢复了一致性。相同的冻结奖励在三个下游应用程序中驱动一致的奖励轴增益：推理时间 N 次最佳选择、DITTO 式潜在优化和专家迭代 后训练。 TuneJury 位于 https://github.com/yonghyunk1m/TuneJury。