DiffusionART：聚合奖励方向实现稳定高效扩散强化训练

在线强化学习以黑盒奖励微调扩散模型。Flow-GRPO等反向过程方法因信用分配不佳效率受限，DiffusionNFT等前向方法高效却依赖精细EMA离策略训练才稳定。我们发现NFT类目标含隐藏前向—反向一致性力，正负联合训练仅部分抵消；EMA通过恢复而非离策略采样稳定训练。DiffusionART先把每个提示的奖励聚合成反向状态的共享奖励改善方向，从构造上去除一致性力，并加入信赖域掩码的第二更新，按漂移自适应恢复，无需调EMA。方法不需可微奖励模型，较少每提示样本仍有效，并支持成对奖励模型DiffusionART-Pairwise。图像、视频生成中无需逐任务调参即可高效稳定训练。特别是在视觉和运动质量奖励等权的HunyuanVideo-13B上，达到DiffusionNFT和Flow-GRPO-Fast后期平均奖励水平的GPU小时分别少12.02和11.72倍，平均训练奖励同时高28.8%和53.0%。