论文
DiTailed:确保文本-图像-图像流匹配模型中的视觉对象一致性
DiTailed: Ensuring Visual Object Consistency in Text-Image-to-Image Flow Matching Models
摘要
尽管文本引导图像编辑取得了显着进展,但生成模型经常无法保持视觉对象的一致性,即在整个编辑过程中保留主题的关键属性。我们通过三个贡献解决了这个限制。首先,我们介绍 ABO-Edit,这是一个专门用于研究对象一致性的数据集,包含超过 12,000 个三元组源图像、编辑提示以及从艺术家设计的 3D 资源渲染的高质量目标图像,具有多视图覆盖和人工验证的质量控制。其次,我们发现了图像编辑校正流模型的一个被忽视的属性:在训练期间不受直接监督的条件嵌入空间即使在高噪声水平下也会对最终生成的图像的预测进行编码。第三,利用这一发现,我们提出了 FlowMirror,一种无参数的辅助损失,可以监督这个调节嵌入空间。在不改变架构的情况下,我们的方法可以在基线上提高多个指标的生成质量。