论文
使用高斯过程校正特征缓存加速扩散 Transformer
Accelerating Diffusion Transformers with Gaussian Process Rectified Feature Cache
摘要
Diffusion Transformer 已成为生成式 AI 的主导范例，但其高计算成本严重阻碍了实时应用。基于预测的特征缓存被广泛用于加速扩散Transformer；然而，随着步数的增加，其预测与参考全计算轨迹之间的偏差逐渐增大。一个直观的想法是使用在线回归模型来动态修正这种偏差，但它面临着加速过程中标签数据不可用的问题。本文提出了一种统计观察结果，即使用缓存方法的全计算步骤的特征与参考全计算轨迹之间的残差局部呈现零均值高斯分布。通过将完整计算步骤的特征视为参考特征的噪声观测，数据采集问题得到解决。基于这一观察，提出了一种即插即用的 GP-Refiner 校正框架。该方法利用高斯过程回归进行校正，并利用探地雷达的特性，引入不确定性自适应计算策略，通过实时监测后验方差来触发必要的全计算校准。实验证明，当与各种最先进的方法相结合时，不同模型的显着改进。将所提出的框架与 TaylorSeer 集成可减少 19.3% 的计算负载，同时将 PSNR 提高 0.9 dB，并将 LPIPS 从 0.46 降低至 0.29。代码可在 https://github.com/Aredstone/GP-Refiner 中找到。