Diffu-LoRA：个性化扩散模型的新型低阶适应

从一些参考图像个性化文本到图像的扩散模型需要保留主题身份，同时遵循描述新上下文的提示。全模型微调是参数稠密型的，而低秩适应（LoRA）减少了可训练参数的数量，但没有考虑如何跨层分配适应能力。我们引入了 Diffu-LoRA，这是一种参数高效的方法，可以通过门控低秩自适应来学习这种分配。 Diffu-LoRA 将可训练的低秩组件插入到 Transformer 块的线性层中，并为每个组件分配一个可学习的门。双层优化会更新单独数据分割上的自适应权重和门参数，而渐进修剪会删除具有最低门值的组件以满足规定的排名预算。该过程在各层之间不均匀地分配适应能力，同时保持预训练的骨干网冻结。对来自 DreamBooth 的受试者和其他收集的数据集进行的稳定扩散实验表明，总体受试者保真度和提示得到了改善 相对于评估的微调基线的对齐。消融研究考察了双层优化、渐进式修剪和适配器放置的贡献。这些结果支持学习排名分配作为参数高效扩散模型个性化的实用方法。