论文

DART:无需训练地将LoRA复用于少步视频扩散模型

DART: Distillation-Aware Reparameterization for Training-Free LoRA Reuse in Few-Step Video Diffusion Models

模型优化模型合并

摘要

步数蒸馏降低视频生成成本,但复用针对更长轨迹训练的LoRA,可能改变其功能效果或损害目标质量。静态参数兼容性提供了一种解释视角;我们的观察表明,相似的几何测量可以与缩短去噪日程后的不同适配器行为并存。我们提出无需训练的DART,将低秩坐标迁移与目标日程响应校准结合,仅使用前向评估,不需要源训练视频。在四步Wan2.2目标上,DART-F将联合质量分数从0.9029提高到0.9227,并将宏观功能保留从−0.4644变为+0.1349。组件分析表明,大部分质量改进来自校准,而坐标迁移与校准结合后提供互补收益。适配器级结果显示,部分适配器产生正向功能效果,其他适配器则显著衰减,同时负向功能效果减少。在另外两个目标上的评估也表现出相同总体趋势。这些结果说明,应通过功能保留与避免负迁移共同评估蒸馏模型中的LoRA复用,而不假设每个适配器都能够恢复。

DART:无需训练地将LoRA复用于少步视频扩散模型:论文配图
图1:DART流程:构建桥接、坐标传输、响应探测及校准。