论文

Style-CCL:通过课程持续学习实现内容保留风格迁移

Style-CCL: Content-Preserving Style Transfer via Curriculum Continual Learning

模型训练持续学习

摘要

由于内容和风格特征纠缠在一起,在给定内容和风格参考的情况下,内容保留风格转移对于 Diffusion Transformer (DiTs) 来说仍然具有挑战性。通过反向三元组合成管道来构建百万级训练集和双分支样式内容 DiT (SC-DiT),通过单独的 ROPE 嵌入和因果掩蔽来解耦样式和内容,我们观察到这种混合样式类别的一阶段训练范例会导致语义样式占主导地位,阻碍纹理样式学习,并损害内容保存。为了解决这些问题,我们提出了 Style-CCL,这是一种多阶段课程持续学习框架,可以训练 SC-DiT 从语义(简单)到纹理(困难)风格,从干净数据到合成数据,并通过跨阶段的随机记忆演练来避免灾难性遗忘。大量实验表明,我们的 Style-CCL 在三个核心指标上实现了最先进的性能:风格相似性、内容一致性和美学质量。