空间结构对齐流匹配：用于图像生成的结构化源分布

当前的流量匹配模型学习传输源 i.i.d.高斯噪声进入自然图像的目标分布，但该源分布不带有空间结构的概念。然而，图像从根本上来说是局部的，因为附近的像素是强相关的。通过独立采样噪声，我们假设模型被隐含地鼓励在训练期间利用噪声较小的邻居作为上下文，部分绕过了正确学习图像的真实局部结构的需要。换句话说，源分布对抗图像域的归纳偏差。为了改善这种设计差异，我们提出了 StructFlow，它通过让小区域内的像素共享公共噪声分量来将空间局部性直接编码到源中。这种结构化源产生与图像区域几何对齐的传输路径，从而实现通用流匹配难以提供的属性：自然尊重边界的细粒度本地编辑、强大的结构保留以及图像之间的平滑语义插值。我们证明这些优势也适用于大型预训练模型，证明 StructFlow 甚至可以通过轻量级 后训练 阶段合并。使用不同扩散 Transformer 架构在无条件、类和文本条件条件下对多个数据集进行的综合实验证实，StructFlow 不仅提供有竞争力的图像生成质量，而且还显着提高了局部可控重新合成。