FlowCPO：流模型偏好对齐的统一发散视图

流动和扩散模型的偏好调整现在涵盖在线强化学习和离线偏好优化，但这些方法之间的关系仍不清楚。特别是，现有的前向过程对齐方法需要来自当前模型的新鲜样本，而基于固定偏好对的离线方法主要依赖于纯正 微调 或 DPO 式似然比代理。我们通过基于分歧的框架组织这些方法，并引入 FlowCPO，这是一种离线前向 KL 目标，它使用首选和非首选样本，无需在线部署。对于线性插值，我们在明确的规律性条件下证明，前向 KL 目标受到对比流匹配损失的限制，从而在固定数据上产生易于处理的替代项。我们进一步表明，这种损失是非负的，而简化 FlowDPO 的带符号回归损失可以在下面无界。在域内设置中，FlowCPO 的平均 GenEval 和 OCR 分数高于评估的基线，在 CFG 3.0 下达到 0.84 和 0.87，而 FlowDPO 为 0.81 和 0.74。在域外设置中，结果好坏参半，GenEval 结果最好，但在几个指标上的奖励分数低于 RFT。