论文
Geo-FSRL优化少步流RL的随机策略几何与梯度权重
Optimizing Stochastic Policy Geometry for Few-Step Flow Reinforcement Learning
摘要
少步流模型通过少量大跨度去噪转移生成样本。将 GRPO 应用于此类模型需要在去噪转换中引入随机性，并且当单个转换跨越较大范围的噪声水平时，所产生的随机策略的选择成为优化的主要因素。近期构造将策略约束为保持目标流系数不变，但该约束仍允许一族策略，并且没有提供在它们之间进行选择的标准。我们引入了 Geo-FSRL（几何优化的少步强化学习），它建立在选择原则的基础上：在固定的条件状态和时间步对上，选择可接受的策略，以最小化由任何给定的非零速度输出更新引起的条件 KL 散度。在各向同性高斯跃迁的系数保留族中，该准则简化为最小化单个标量几何因子，该因子确定每个速度输出更新的条件 KL。相同的因素控制速度空间费希尔信息和条件转移对数似然比方差。我们推导出该系列中唯一的闭式最优解，在所有非零更新幅度和方向上共享，其过渡系数由源噪声水平和目标噪声水平确定。由于最小化的几何因子仍然随时间步长而变化，因此我们进一步采用先前工作中的梯度尺度匹配，并导出闭式的策略梯度和 KL 权重，以规范化显式得分尺度和参考 KL 曲率。 Geo-FSRL 按照原始的少步时间表进行训练，并在推理时保留确定性求解器。我们的方法在 4 步设置下的图像生成和视频生成模型上比 Flow-GRPO 和 Flow-CPS 获得了更高的最终奖励分数。代码可在 https://github.com/ModelTC/LightX2V/tree/main/lightx2v_rl 获取
