论文

FeatFix:重用通过本地精确特征校正验证的内容,以实现更快的缓存扩散推理

FeatFix: Reuse What You Verify through Local Exact-Feature Correction for Faster Cached Diffusion Inference

模型推理推理加速

摘要

扩散模型广泛用于生成高质量图像和视频,但其迭代去噪过程仍然需要大量计算。越来越多的 无需训练 加速器通过重用缓存的中间功能或预测未来的功能来降低这一成本。为了控制吃水漂移,这些方法有时会计算精确的块特征以进行验证。然而,所得到的精确特征通常仅用于测量差异或指导后续决策,然后被丢弃。我们发现这个先前计算的特征可以重新用于校正。在验证站点转发它会重置本地草稿残差并减少下游特征错误。基于这一观察,我们引入了 FeatFix,一种用于缓存扩散推理的局部精确特征校正方法。 FeatFix 在一组固定的稀疏层时间步站点上运行。在每个选定的站点,它用根据相同传入状态计算的精确输出替换完整的草稿块输出,从而避免词元或通道级部分替换和全时间步长重新计算。跨四个图像和视频主干的实验表明,FeatFix 持续加速生成,比 Vanilla 实现高达 6.70倍的加速,同时保持有竞争力的输出质量。