RefDiT：基于参考的图像生成中的局部属性指导

个性化模型在一些主题参考的指导下生成新图像，而风格迁移方法旨在生成与从参考图像派生的全局风格一致的图像。当参考图像包含单个对象时，最新的方法表现良好，有效地捕获包含所有隐式属性的全局样式。然而，当应用于包含具有不同属性特征的多个对象的复杂现实场景时，这些方法由于其全局级指导而无法定位参考图像中的相关元素。全局指导限制了它们根据参考图像中的局部属性生成新图像的能力。此外，现有方法通常采用单个标识符词元来捕获引用中的所有详细信息，从而导致缺乏单独的属性级控制。受这些限制的启发，我们提出了 RefDiT，这是一种用于参考引导图像生成的新颖框架。 RefDiT 将参考图像、文本提示和可选的用户提供的指导上下文作为输入。 RefDiT 使用局部元素的属性来进行局部区域指导。它通过执行标识符标记的属性级分解，从参考图像构建属性感知调节信号，并在推理提示中执行上下文调整，以训练基于扩散 Transformer (DiT) 的生成模型的低秩适配器 (LoRA) 块。 RefDiT 学习标识符标记与参考图像中局部区域之间的对应关系，从而实现更有效的局部引导。