通过基于核心词元注意力的种子选择促进文本到图像的扩散模型

文本到图像的扩散模型可以合成高质量的图像，但众所周知，结果对随机种子非常敏感：不同的初始种子通常会在图像质量和提示图像对齐方面产生很大的变化。我们重新审视这种“种子效应”，并表明，在前几个去噪步骤中测量的提示核心标记（承载内容的单词）上的注意力动态可以强烈预测最终生成的质量。基于这一观察，我们引入了基于注意力的种子选择（ABSS），这是一种 无需训练 即插即用方法，通过在去噪过程中利用对核心标记的交叉注意力来对给定提示的种子进行排名。 ABSS 不需要微调，也不会改变初始噪声；它对所有候选种子进行评分和排名，仅保留完整生成的前 k 个种子，并丢弃其余种子，而不依赖于固定的接受/拒绝阈值。 ABSS 纯粹在推理时运行，可以作为现有种子优化管道的轻量级预选插件，从而实现额外收益。在三个基准测试中，大量实验表明，ABSS 能够持续改进稳定扩散变体的文本图像对齐和视觉质量，人类偏好和对齐指标也证实了这一点。