当 KL 正则化在组策略优化中失败时

摘要

为什么删除参考策略 KL 正则化有时会改善组策略优化？这激发了研究参考策略信息应如何进入组相关更新。我们分析了 KL 和奖励之间相互作用的七种潜在失败模式：奖励裁剪后、梯度取消后以及具有相同奖励的组中的剩余 KL 更新； KL 增长随响应长度及其相对贡献的不平衡而变化； KL集中于少量token；当k1被纳入奖励时采样噪声。我们提出零和校准策略优化（ZCPO），它使用条件 KL 测量的相对漂移来校准组内奖励系数并将其集成到基本代理中。数学推理实验和消融支持该设计在我们的设置中的有效性。

当 KL 正则化在组策略优化中失败时：论文配图 — 图1：KL 放置和七种类型的不匹配。右图展示了系数分解（di=⟨κ⟩i=D~i，Kiκ=Ki）：均匀位移代表共同的 KL 偏移，金色箭头表示相对校准贡献。 S表示基础Agent，sg停止梯度，r=πθ/πold是采样token的概率比，β≥0是KL权重；独立项用 ℓKL=e−Δ+Δ−1 (k3) 表示。 Ai=Ri−R¯，A^i=Ai/(σq+εadv)，且 sq=maxj⁡|Aj|； R,σq,T,h,G,q分别表示奖励、奖励标准差、长度、前缀、组大小和提示；上横线表示组平均值，且 εadv>0。所示条件：F2 假设相同的上下文/token，所有门都打开，并且权重相等； F3 假设未过滤的组； F4 假设没有长度平均且 ℓi,tKL≈c>0； F5 假设分母非零； F7 假设 G≥2 个独立的单标记响应是从相同提示的当前策略中采样的，具有不同的、完全支持的 πθ,πref。系数目标首先跳过 G<2 或 sq=0 的组。