耦合与控制：扩散模型中的联合初始噪声设计

扩散模型通常从独立的高斯初始噪声生成图像批次。我们认为，这种独立性假设只是更广泛的有效联合噪声设计中的一种选择。相反，我们可以指定初始噪声的耦合：每个噪声都保持略微标准的高斯分布，因此预训练的扩散模型接收相同的单样本输入分布，而样本之间的依赖性是通过设计选择的。这重新构建了从选择或优化单个种子到设计多样本库的依赖结构的初始噪声控制。这种观点给出了初始噪声设计的一般框架，涵盖了作为特殊情况的几种现有方法，并自然导致新的耦合噪声结构。耦合噪声可以在不增加采样成本的情况下自行改进生成，并且当有额外计算可用时，它足够灵活，可以用作基于优化的管道的结构化初始化。根据经验，排斥高斯耦合提高了 SD1.5、SDXL 和 SD3 上的图库多样性，同时在很大程度上保留了即时对齐和图像质量。它在与独立生成相同的采样成本下，在多个多样性指标上匹配或优于最近的测试时噪声优化基线。子空间耦合还支持固定对象背景生成，与专门的修复基线相比，可以生成多样化的自然背景，并在前景保真度方面进行可调权衡。