论文
经伴随匹配微调流模型的改进技术:确定性控制流水线
Improved techniques for fine-tuning flow models via adjoint matching: a deterministic control pipeline
摘要
我们提出确定性伴随匹配框架:把流式生成模型的人类偏好对齐表述为速度场上的最优控制问题。可以直接把控制向当前策略下由值梯度诱导的目标回归,得到简单稳定的训练目标。基于此视角,我们引入截断伴随方案:把计算集中到轨迹终端部分——奖励相关信号集中处——在保持对齐质量的同时带来可观的计算节省。我们进一步把框架泛化到标准KL正则之外,允许对齐强度与分布保持之间更灵活的权衡。在SiT-XL/2与FLUX.2-Klein-4B上的实验展示跨多个对齐指标的一致增益,以及大幅改善的多样性与模式保持。
