初始化是成功的一半：从指导势后验生成不同的图像

尽管生成模型具有非凡的保真度，但它们经常遭受模式崩溃的困扰。现有的增强多样性的策略主要集中在对世代轨迹进行干预。我们发现了一个关键的疏忽，即标准高斯初始化经常导致轨迹崩溃为主导模式，因为它对引导潜在景观是不可知的。在这项工作中，我们制定了从引导潜在后验中选择初始噪声的公式，这有效地将先验重新加权到多样性丰富的区域。为了有效地从此分布中采样，我们引入了多样性诱导初始化（DivIn），它利用 Langevin 动力学主动导航初始化景观，引导初始噪声远离崩溃区域，同时将它们锚定到有效数据流形。我们的方法用作与扩散和流匹配模型兼容的推理时间多样性增强。大量实验表明，DivIn 在类到图像和文本到图像场景中都表现出了优越的性能。此外，我们强调，由于 DivIn 与基于轨迹的方法正交，因此将它们结合起来显着扩展了多样性质量帕累托前沿，超出了任何一种单独实现的效果。