SeqLoRA：用于持续多概念生成的双层正交适应

参数高效的 微调 可以将文本到图像的扩散模型快速个性化为用户提供的概念（对象、人物或样式），但由于表示干扰，组合多个此类概念仍然具​​有挑战性。现有的模块化方法通常建立在低秩适应 (LoRA) 之上，要么依赖昂贵的事后融合，要么冻结 LoRA 适应子空间，这限制了表达能力和概念保真度。为了解决这种权衡问题，我们提出了顺序正则化 LoRA (SeqLoRA)，这是一种约束持续学习框架，通过双层优化联合优化两个 LoRA 因素，同时保持每个新基础与所有先前学习的基础正交。理论上，我们建立单调下降和收敛到约束问题的临界点，并将剩余层激活建模为矩阵亚高斯过程，以导出多层非线性网络中灾难性遗忘的高概率界限。该界限仅通过残余干扰能量取决于基础，并且在可行子空间内，我们证明数据适应基础将其最小化，而随机冻结基础在预期中是次优的。具有多达 101 个概念的稳定扩散实验表明，SeqLoRA 比基于融合的方法改进了身份保留，在多概念组合中实现了最低的交叉概念泄漏，不需要融合步骤，并且可以扩展到融合耗尽内存的概念计数。