得分前思考：视觉生成的思考奖励模型

视觉奖励模型对于评估和改进视觉生成模型至关重要，但现有方法通常将任务条件和候选输出直接映射到标量奖励，从而隐含了每个案例应评估的内容。我们引入了“先思考后评分”，这是一种在判断候选人表现之前明确确定每种情况的重要因素的范式。遵循这一原则，我们提出了思考奖励模型（TRM），该模型制定案例自适应的评分标准，进行评分标准引导的评估，并产生细粒度的逐点奖励。我们进一步观察到传统的成对偏好优化会引起分数极化，并引入成对双组相对策略优化（PD-GRPO），它利用成对监督来改善奖励歧视，同时保留细粒度的逐点评分。关于图像生成和编辑奖励建模基准的大量实验表明，TRM 在开源奖励模型中实现了最先进的性能，同时与专有替代方案保持了高度竞争力。此外，使用TRM作为强化学习的奖励可以持续改进多样化的视觉生成模型，证明其细粒度、案例自适应的奖励可以转化为视觉生成的有效优化信号。