通过定制概念嵌入改进前景条件外画的文本实例对齐

为了展示产品，商家通常会花费大量成本来创建高质量的显示图像。前景条件绘制（FCO）满足了这一需求，允许用户通过调整文本提示以较低的成本为前景实例创建所需的背景。然而，现有的文本驱动的 FCO 方法在其输出中表现出严重缺陷，最明显的是伪影的存在，伪影指的是合成背景中与前景实例共享相同语义的区域。此类伪影会削弱物体的突出度并降低图像质量。我们将此问题归因于给定实例和文本衍生的概念嵌入之间的不一致。为了解决这个问题，我们提出了定制概念嵌入扩散（CCE-Diffusion）框架。其核心是一个 CCE 模块，用于定制概念嵌入，弥合通用名词语义和特定视觉实例之间的差距。实例感知损失指导模块的优化，而语义保留提示模板可防止自定义嵌入扭曲提示中的其他单词。定性和定量评估都表明 CCE-Diffusion 显着减少了输出中的伪影。作为即插即用组件，CCE 模块可以与各种 FCO 方法集成，从而增强其性能。