论文

FREPix:用于像素空间图像生成的频率异质流匹配

FREPix: Frequency-Heterogeneous Flow Matching for Pixel-Space Image Generation

应用与实践内容创作

摘要

像素空间扩散重新成为潜在空间生成的一种有前景的替代方案,因为它避免了 VAE 引入的表示瓶颈。然而,大多数现有方法仍然将图像生成视为频率同质过程,忽略了低频和高频分量的不同作用和学习动态。为了解决这个问题,我们提出了 FREPix,一种用于像素空间图像生成的频率异构流匹配框架。 FREPix 将生成明确分解为低频和高频分量,为它们分配单独的传输路径,使用分解网络预测它们,并使用频率感知目标训练它们。这样,从粗到细的生成就成为一种显式的设计原则,而不是一种隐式的行为。在 ImageNet 类到图像生成方面,FREPix 在像素空间生成模型中取得了有竞争力的结果,在 $256\times256$ 时达到 1.91 FID,在 $512\times512$ 时达到 2.38 FID,在训练的早期阶段和低 NFE 状态下表现尤其强劲。