论文
LinCa:通过可学习的分解特征缓存加速扩散模型
LinCa: Accelerating Diffusion Models via Learnable Decomposed Feature Caching
摘要
扩散模型在图像和视频生成方面取得了显着的成功,但迭代采样的高计算成本仍然是实际部署的关键瓶颈。通过跨时间步重用或预测中间特征,特征缓存已成为一种有前景的加速范例。然而,现有的 无需训练 方法采用统一的预测策略,无法适应异构特征动态,导致高加速比下质量显着下降。我们提出了 LinCa,一种基于可学习可逆网络的特征缓存框架。 LinCa 通过轻量级可逆网络将缓存的特征分解为具有不同连续性属性的子组件,并应用与每个组件匹配的差异化预测顺序。严格的可逆性保证了无损重建回到原始特征空间,形成统一的分解-预测-重建管道。通过为不同模型和时间步段训练单独的预测器,LinCa 能够适应异构特征动态。在 FLUX、Qwen-Image 和 HunyuanVideo 上的实验表明,LinCa 在附加参数不到 0.2% 的情况下,明显优于现有方法,并在 5-7 倍的加速下保持近乎无损的质量。代码:https://github.com/QHR69/LinCa