论文

BRACE:通过快速扩散的重心理性预测来驯服尖锐的不规则性 Transformer 推理

BRACE: Taming Sharp Irregularities via Barycentric Rational Forecasting for Fast Diffusion Transformers Inference

模型推理推理加速

摘要

Diffusion Transformer (DiTs) 在高保真图像和视频生成方面表现出了卓越的性能。为了减轻大量的计算开销,人们提出了时间特征缓存来绕过冗余计算。然而,现有的由基于导数的多项式驱动的缓存预测方法常常由于不稳定的长步预测而在高加速下导致严重的质量下降。为了解决这个瓶颈,我们提出了带有切比雪夫增强的重心理性预测(BRACE)。受到 DiT 特征轨迹全局平滑但经常表现出尖锐的不规则性和局部不平滑性的观察的启发,BRACE 将范式从导数驱动的多项式外推转变为特征驱动的理性预测。具体来说,它维护一个局部滑动窗口来缓存稀疏的历史特征,并利用适应的切比雪夫权重来制定重心有理函数,直接聚合这些原始特征以确保数值稳定性。大量实验表明,BRACE 在各种 DiT 架构中实现了最先进的质量效率权衡,而计算开销可以忽略不计。