CollectionLoRA：通过多教师在 1 LoRA 中收集 50 个效果 同策略 蒸馏

定制图像编辑旨在使用有限的配对数据（通常通过低秩适应（LoRA））为预先训练的扩散模型配备特定的视觉效果。随着所需效果数量的增加，存储和动态加载大量这些效果 LoRA 会显着增加部署开销。此外，当前的流程通常将这些效果 LoRA 与加速模块级联以实现快速生成，这会引发严重的参数干扰并导致概念出血和风格退化。我们提出 CollectionLoRA，这是一个多教师 同策略 蒸馏 框架，能够将多达 50 个不同效果 LoRA 的概念以及几个步骤的生成功能提炼到单个 LoRA 中。这从根本上解决了功能干扰问题，并显着降低了部署成本。具体来说，该方法引入了（i）概率双流路由机制，使模型能够在训练过程中在数据源之间随机切换，有效增强其在未见过的场景中的泛化能力； (ii) 非对称正交提示策略，以在提示空间内实现概念隔离； (iii) 一个从粗到细的 蒸馏 目标，以缩小教师和学生模型之间的分配差距。广泛的评估表明，CollectionLoRA 将所有定制效果和几个步骤生成提炼为单个 LoRA，减少了部署开销，同时实现了与独立训练的教师模型相当或更好的概念保真度。代码：https://github.com/Qwen-Applications/CollectionLoRA