以源先验驱动的选择性适配实现高效扩散模型微调

为 NEW 域或风格微调大型扩散模型存在权衡：提升目标专属生成常损害预训练模型的广泛生成能力。既有的全量与参数高效微调方法通常只隐式处理该权衡。本工作提出源先验驱动的选择性适配方法，高效微调扩散模型、取得有利权衡。方法依赖两个关键观察：（1）通用生成能力的损失在预训练参数间高度不一致；（2）对模型通用生成能力影响相对较小的参数，在层与参数类型间保持结构不一致。受此启发，我们首先学习一个静态掩码显式识别更适合下游适配的参数，然后为所选子集构建结构化更新策略。实验显示该方法取得优于既有强基线的适配—保留权衡。