论文
ChebBooster:通过切比雪夫启发的外推法进行有效扩散的 无需训练 方法 Transformer 推理
ChebBooster: A Training-Free Approach for Efficient Diffusion Transformer Inference via Chebyshev-Inspired Extrapolation
摘要
Diffusion Transformer (DiTs) 在高保真图像生成方面表现出了强大的性能,但由于每个时间步都执行完整的模型,其采样过程仍然是计算密集型的。虽然已经探索了基于缓存的加速来降低推理成本,但简单的重用方案在较长的时间间隔内精度较低,并且基于泰勒级数的外推方法经常面临由龙格振荡引起的不稳定。在本文中,我们提出了 ChebBooster,一种基于切比雪夫多项式理论的 无需训练 外推框架,可实现 DiT 的稳定高效加速。具体来说,我们采用重心公式来评估具有高数值稳定性和最小开销的切比雪夫近似,并将外推进一步解耦为离线权重预计算阶段和轻量级在线应用阶段。对三个基于 DiT 的代表性模型(包括 DiT-XL/2、PixArt-$Σ$ 和 FLUX.1-dev)的广泛实验表明,ChebBooster 在视觉质量和推理效率方面实现了持续改进,延迟加速高达 $3.68\times$,FLOPs 减少高达 $5.12\times$,在不同的生成任务和分辨率下优于现有的 无需训练 基线。