FREE-Switch：用于风格转换的基于频率的动态 LoRA 开关

随着在同一扩散主干上针对不同场景和对象进行训练的开源适配器的可用性不断增加，结合这些预训练的权重可以实现低成本的定制生成。然而，大多数现有的模型合并方法都是为分类或文本生成而设计的，当应用于图像生成时，它们会由于多个扩散步骤的误差积累而遭受内容漂移。对于面向图像的方法，基于训练的方法计算量大且不适合边缘部署，而 无需训练 使用统一的融合策略，忽略适配器间的差异，导致细节退化。我们发现，由于不同的适配器专门用于生成不同类型的内容，因此每个扩散步骤的贡献对于每个适配器都有不同的意义。因此，我们提出了一种频域重要性驱动的动态 LoRA 切换方法。此外，我们观察到保持适配器之间的语义一致性可以有效地减少细节丢失；因此，我们设计了一种自动生成对齐机制，以在语义级别对齐生成意图。实验表明，我们的 FREE-Switch（基于频率的高效动态 LoRA Switch）框架有效地结合了针对不同对象和风格的适配器，大大降低了高质量定制生成的训练成本。