并非每条量规都具有同等教学价值：面向RLVR的策略感知量规奖励

当正确性可被自动核验时，可验证奖励强化学习（RLVR）使后训练非常有效。然而，许多重要的模型行为需要同时满足若干定性标准。基于量规的奖励应对这一设定：对提示特定的标准逐项评分并聚合成标量奖励。但标准的静态聚合把一项标准的人工指定重要性与它当前作为优化信号的有用性混为一谈。我们表明这一假设在量规RL中会失效：许多重要标准已经饱和或当前不可达，而能够区分不同rollout的标准未必是人工权重最大的那些。我们提出POW3R，一个策略感知的量规奖励框架，它在保留人工权重与类别平衡作为量规目标的同时，在训练过程中自适应调整标准级奖励权重。POW3R利用rollout级对比来突出当前能区分策略输出的标准，使GRPO奖励信息更丰富而不改变底层评估目标。在覆盖多模态与纯文本设定的两个数据集、三个基础策略上，POW3R在30组基础策略/指标比较中赢得24组，相较使用量规奖励的原版GRPO同时提升了平均量规奖励与严格完成率（响应满足全部必需量规标准的提示占比），并以少2.5-4倍的训练步数达到同样的平台期。因此，量规奖励应当区分最终答案中应当重要的东西与能够教会当前策略的东西。