重定向流程：通过注意力分配转移进行图像定制

主题驱动的图像定制旨在生成不仅遵循文本指令而且保留给定参考主题的身份的图像。现有的方法，包括测试时 微调、基于编码器的方法和共享注意力空间中的词元竞争，都受到效率有限、提取的参考特征和生成过程之间的不一致以及不相关信息的干扰的影响。为了解决这些限制，我们将定制任务制定为通过将参考图像合并到文本到图像生成中而引起的分布变化，并推导出基于最大熵理论的条件注意分布变化公式。在此基础上，我们提出了 CustomShift，一种基于稳定扩散 3 的双分支架构。参考对齐分支利用参考图像和主题名称之间的自注意力来实现与潜在表示的分层对齐，而交叉指导分支则集成文本和参考线索来指导生成。 DreamBooth 和 Custom101 基准测试的实验表明，我们的方法始终优于最先进的方法，在语义保真度和主题一致性之间实现了更好的平衡。