论文

CLASP:来自一个超网络的空间放置概念的连续低秩适配器

CLASP: Continual Low-rank Adapters for Spatially Placed Concepts from One Hypernetwork

模型训练持续学习

摘要

文本到图像扩散模型的持续个性化需要顺序获取新概念,同时保留以前学到的概念。然而,现有的方法要么遭受灾难性遗忘,要么依赖于存储额外的特定于概念的参数和空间分量,导致其参数足迹随着概念流而增长。这限制了他们扩展到长序列个性化任务的能力。我们提出了一种无需回放旧样本的方法,该方法使用单个固定大小的超网络来不断个性化冻结扩散模型。超网络不是在获取新概念时扩展模型,而是动态地生成个性化所需的特定于概念的适应,同时保留以前学习的概念。我们的框架进一步将空间控制集成到个性化过程中,允许用户指定个性化概念应该出现的位置,而无需引入额外的每个概念组件。除了紧凑的概念表示之外,这种公式可以通过参数足迹实现持续的个性化,该参数足迹保持独立于学习的概念的数量。实验表明,对先前学习的概念和可靠的空间基础的强烈保留,匹配或改进现有方法,同时有效地扩展到长流个性化任务。