论文
TASQ：扩散模型的时间自适应位稀疏量化
TASQ: Temporal-Adaptive Bit Sparsification Quantization for Diffusion Models
摘要
静态量化为每个去噪步骤分配一个权重精度。为了保持质量，该精度必须适应对量化最敏感的步骤，即使许多其他步骤可以容忍更少的位数。生成的模型可能满足其内存预算，但它在整个去噪轨迹中重复执行最坏情况算术。我们引入时间自适应位稀疏量化（TASQ）来分离这两种成本。 TASQ 存储一个共享的最大精度权重缓冲区，并学习一个时空 LSB 掩码，该掩码通过截断最低有效位为每一层和去噪阶段选择较低的有效精度。因此，在最坏的情况下，存储量保持固定，而 BitOP 在不太敏感的阶段会减少，而无需每阶段权重副本或运行时搜索。时间精度引擎将学习的调度映射到位串行执行，其中周期以有效精度缩放，并且切换精度没有测量到的周期开销。在 PixArt-Sigma、SANA-1.6B 和 SDXL-Turbo 上，TASQ 以更少的计算实现了与静态量化相当的质量。与时间精度引擎结合使用，它使执行周期比静态量化减少了 25% 到 50%，比简单的静态 8 位位串行执行减少了 6.1 到 7.5 倍。代码可在 https://github.com/seokho-han/tasq 获取。