探索视频扩散模型的无数据 LoRA 可迁移性

利用步骤 蒸馏 或因果 蒸馏 的视频扩散模型取得了显着的性能。然而，由于权重空间不匹配，使现有 LoRA 适应这些变体仍然是一个严峻的挑战。我们观察到直接应用会导致风格退化和结构崩溃，但其潜在机制仍知之甚少。为了填补这一空白，我们深入研究了权重空间，并发现这种不兼容性源于奇异子空间上定义的共享功能簇内的光谱干扰。具体来说，我们的分析表明，虽然两种范式都尊重谱刚性，但它们建立了相互冲突的路由路径，这些路径通过建设性过载或破坏性取消而发生冲突。为了解决这个问题，我们提出了集群感知频谱仲裁（CASA），这是一种无数据框架，可以在保护目标流形和基于频谱密度恢复 LoRA 对齐之间进行动态仲裁。大量实验表明，CASA 可以有效减少伪影并恢复 LoRA 功能。我们的代码可在 https://github.com/Noahwangyuchen/CASA 获取