论文

MultiCompose:具有每个主题属性绑定的多概念个性化作文

MultiCompose: Multi-Concept Personalized Composition with Per-Subject Attribute Binding

模型推理解码与生成控制

摘要

文本到图像的扩散模型可以从少量参考图像中个性化特定的视觉概念。然而,生成包含多个个性化主题的单个图像,每个主题都与用户指定的属性(例如服装、配饰和持有的物体)绑定,在很大程度上仍然没有得到解决。如果没有明确的空间约束,同时激活的概念检查点会产生重叠的交叉注意响应,导致每个主体的身份退化和属性错位。此外,没有既定的基准在个性化多主体设置中联合评估这两种故障模式。我们提出了 MultiCompose,这是一个组合框架,可将每个概念的个性化与多主题推理分离开来。语义保留正则化在 微调 期间保持属性绑定能力,而两阶段推理过程自动建立主题布局并通过空间独占掩模组成每个概念的预测。我们进一步介绍了 MSP-Bench,这是一个通过双通道协议联合评估身份保真度 (ID)、属性绑定准确性 (BIND) 和属性错位 (MIS) 的基准。实验表明,MultiCompose 在传统指标和 MSP-Bench 上均优于现有方法,证实了该基准能够揭示传统指标忽略的故障模式。代码可在 https://github.com/I2-Multimedia-Lab/MultiCompose 获取