论文
超越固定公式:高效扩散模型的数据驱动线性预测器
Beyond Fixed Formulas: Data-Driven Linear Predictor for Efficient Diffusion Models
摘要
为了解决 Diffusion Transformer (DiTs) 的高采样成本,特征缓存提供了 无需训练 加速方法。然而,现有的方法依赖于手工制作的预测公式,在激进的跳过情况下会失败。我们提出了 L2P(可学习线性预测器),这是一种简单的数据驱动的缓存框架,用可学习的每时间步权重代替固定系数。 L2P 在单个 GPU 上经过约 20 秒的快速训练,可以根据过去的轨迹准确地重建当前特征。 L2P 显着优于现有基线:它在 FLUX.1-dev 上实现了 4.55 倍的 FLOP 减少和 4.15 倍的延迟加速,并在 Qwen-Image 模型上高达 7.18 倍的加速下保持了高视觉保真度,而之前的方法显示出明显的质量下降。我们的结果表明,学习线性预测器对于高效 DiT 推理非常有效。代码可在 https://github.com/Aredstone/L2P-Cache 获取。