从模仿到奖励发现：Agentic RL 的保单预热

具有可验证奖励的强化学习（RLVR）提供了一种可扩展的方法来训练语言模型Agent，但稀疏的结果奖励可能会使早期训练几乎没有政策改进的信号。我们确定了一个在策略加速现象：在我们的主要比较中，使用在策略蒸馏初始化的 RLVR 在训练早期就达到了高性能，并且在后续 RLVR 期间实现了更高的平均性能，并且比替代基线实现了更高的最终性能。受这一观察的启发，我们研究了 On-Policy Warmup (OPW)，这是一个教师指导的阶段，在该阶段中，学生在过渡到 RLVR 之前在教师的监督下按照自己的交互轨迹进行训练。与模仿教师生成的固定轨迹不同，OPW 的目标是由学生自己的决定引起的状态，包括不完美的动作和恢复情况。我们通过将策略反向 KL 蒸馏与轨迹级分布匹配联系起来提供了理论解释。在有能力的教师和足够小的群体蒸馏损失的情况下，这种连接产生了初始验证者成功的下限和奖励发现复杂性的相应界限。对于与群体相关的 RLVR，我们进一步描述了成功概率的增加何时会产生更多奖励信息群体。总之，我们的研究结果支持将策略蒸馏作为 Agentic RLVR 的有效预热，并将初始奖励发现确定为有助于观察到的加速的机制。