论文
曝光偏差可以通过流量匹配中的方向和频率校正来缓解
Exposure Bias Can Alleviate Itself via Directional and Frequency Rectification in Flow Matching
摘要
流匹配(FM)已经取得了显着的生成性能,但由于训练和推理之间的差异而存在暴露偏差。现有的缓解策略通常依赖于静态约束或外部启发法。在这项工作中,我们提出曝光偏差本身固有地包含可以指导其自身纠正的动态信号。为了利用这一点,我们引入了 DEFAR(定向频率自适应整流)。该框架模拟训练期间的单步推理过程,以识别暴露偏差。它利用来自偏差本身的方向和频率自适应反馈信号来增强模型的偏差容限。它由两个关键部分组成:(1)抗漂移整流(ADR)。 ADR 将推理时间漂移视为一个信号,以学习将偏离状态引导回目标的方向。 ADR赋予模型内在的主动自纠能力; (2)频率补偿(FC)。根据经验,我们观察到累积偏差通常源于高噪声阶段缺乏低频分量,而曝光偏差则带有缺失的频率。 FC 利用偏差本身作为自反馈加权因子来强化缺失的频率分量。在 CIFAR-10、CelebA-64 和 ImageNet-256/512 上的实验表明,DEFAR 优于之前的基线,并进一步展示了良好的可扩展性、兼容性和推理鲁棒性。