当文本转图像有助于编辑时：去噪过程中条件的影响

统一模型针对基于指令的图像编辑和文本到图像 (T2I) 生成进行了训练，但标准编辑管道在整个去噪过程中保持源图像调节。我们询问编辑是否可以从 T2I 中受益，并研究调节效果在编辑和去噪阶段之间有何不同。在纯编辑中，对于采样轨迹上的某些编辑，源注意力会下降。这一观察结果引导我们进行任务切换，从而使模型能够利用其 T2I 功能。在三个统一编辑器和四个基准中，切换到有限间隔的 T2I 任务可以提高编辑质量，而所有三个模型的平均感知保留仍然接近纯编辑。因此，统一编辑人员可以从使用他们接受过训练的两种调节模式中受益，并且切换的时间设置了质量和保存之间的平衡。