论文
频率强制:从随时间缩放到软频率指导
Frequency-Forcing: From Scaling-as-Time to Soft Frequency Guidance
摘要
虽然标准的流匹配模型将噪声统一传输到数据,但结合明确的生成顺序(具体来说,在精细细节之前建立粗略的低频结构)已被证明对于合成自然图像非常有效。最近的两部作品为此提供了不同的范例。 K-Flow 通过将频率缩放变量重新解释为流动时间来施加硬频率约束,在变换后的幅度空间内运行轨迹。潜在强迫通过异步时间安排将像素流与辅助语义潜在流耦合起来,提供了一种软排序机制,使像素插值路径本身保持不变。从改进像素生成的角度来看,我们观察到强制(用较早成熟的辅助流引导生成)为尺度有序生成提供了一种高度兼容的途径,而无需重写核心流坐标。在此基础上,我们提出Frequency-Forcing,它通过Latent Forcing的软机制实现K-Flow的频率排序:标准像素流由成熟较早的辅助低频流引导。与潜在强迫不同,其暂存器依赖于大量预训练编码器(例如 DINO),我们的频率暂存器是通过轻量级可学习小波包变换从数据本身导出的。我们将其称为自强迫信号,它避免了外部依赖性,同时学习比硬频率流中使用的固定基更好地适应数据统计的基。在 ImageNet-256 上,Frequency-Forcing 持续改进了强像素和潜在空间基线上的 FID,并自然地与语义流组合以产生进一步的增益。这说明基于强制的尺度排序是硬频率流的一种通用的、路径保留的替代方案。