GAC：混合 SFT-RL 的噪声感知自适应混合 后训练

混合后训练通常结合了有监督的微调和强化学习，但是当两个信号的相对噪声随时间变化时，固定的混合方案无法适应。我们提出了 GAC，一种噪声感知控制器，它根据梯度方差和两个训练信号之间的不一致的在线估计得出自适应混合权重。该方法在重用现有训练张量的同时添加了平滑、先验指导和有界更新。数学、代码、科学和逻辑基准测试表明，GAC 在强大的固定和基于规则的基线上持续改进了混合 后训练，在更大的模型规模上获得了更大的收益，并且训练开销不到 1%。