LILAC：分层独立 LoRA 和级联调节，用于扩散模型的多概念定制

个性化文本到图像扩散模型以在连贯图像中渲染多个特定主题仍然具有挑战性：模型必须保留每个主题的身份，同时保持场景在空间和视觉上连贯。在共享权重空间中融合独立训练的概念适配器的方法（通过联合平均、梯度融合或正交性约束）会遭受身份混乱和风格出血的困扰。在这项工作中，我们展示了将概念组合为单独的图像层，而不是将其适配器合并在共享权重空间中，可以避免参数级干扰。我们引入了 LILAC，一个在推理时组成独立训练的低秩适配器的框架：每个主题都以先前放置的主题的冻结组合为条件，一次只有一个适配器处于活动状态，因此身份永远不会在参数级别产生干扰。 LILAC 无需联合训练即可组成适配器，随概念数量线性扩展，并且与主干网无关。在正交适应协议下，应用在Qwen-Image-Edit+Qwen-Image-Layered上的LILAC达到了0.861的ArcFace检测率。代码可在 https://github.com/marianlupascu/LILAC 获取。