论文

ACE-LoRA:用于连续图像编辑的自适应正交解耦

ACE-LoRA: Adaptive Orthogonal Decoupling for Continual Image Editing

模型训练持续学习

摘要

最先进的扩散模型通常依赖参数高效的 微调 来执行专门的图像编辑任务。然而,现实世界的应用程序需要不断适应新任务,同时保留以前学到的知识。尽管有实际必要性,但图像编辑的持续学习在很大程度上仍未得到充分探索。我们提出了 ACE-LoRA,一种用于持续图像编辑的动态正则化框架,可有效减轻灾难性遗忘。 ACE-LoRA利用自适应正交解耦来识别和正交化任务干扰,并引入排名不变的历史信息压缩策略来解决持续更新中的可扩展性问题。为了促进图像编辑方面的持续学习并提供标准化的评估协议,我们引入了 CIE-Bench,这是该领域的第一个综合基准测试。 CIE-Bench 包含多样化且实际相关的图像编辑场景,其难度水平均衡,可有效暴露现有模型的局限性,同时保持与参数高效的 微调 兼容。大量实验表明,我们的方法在指令保真度、视觉真实感和遗忘鲁棒性方面始终优于现有基线,为图像编辑的持续学习奠定了坚实的基础。