论文

打造您不断发展的梦想:概念增量式多功能定制

Crafting Your Evolving Dreams: Concept-Incremental Versatile Customization

模型训练持续学习

摘要

定制扩散模型(CDM)因其生成个性化概念的卓越能力而引起了人们的极大兴趣。然而,大多数 CDM 不切实际地假设用户的个性化概念集合是静态的,并且无法随着时间的推移而增量增长。此外,当他们逐步学习一系列新概念时,他们会表现出严重的灾难性遗忘和对先前学到的概念的概念忽视。为了解决上述挑战,我们开发了一种新颖的连续可定制扩散模型(CCDM),使用户能够进行概念增量式多功能定制。具体来说,我们设计了一个属性解耦 LoRA (AD-LoRA) 模块和一个相关性引导的 AD-LoRA 聚合策略,以减轻灾难性遗忘。他们可以保留每个任务的特定于概念的属性,并利用有益的任务间相关性来增强对新定制任务的持续学习。此外,为了解决概念忽视的挑战,我们提出了一种可控的区域上下文合成策略,该策略根据用户提供的条件执行多概念合成。该策略通过保证用户定义区域之间的语义独立性及其平滑的边界过渡来增强多概念合成的整体一致性。实验表明我们的 CCDM 比基线方法有显着改进。