论文
后训练 混合迭代生成模型的量化
Post-training Quantization for Hybrid Iterative Generative Models
摘要
迭代生成模型 (IGM) 跨越自回归和扩散范式，将它们结合起来的混合变体可以实现卓越的图像生成保真度。然而，它们的迭代推理会产生大量的计算开销，使得 后训练 量化 (PTQ) 需要加速，而直接将普通 PTQ 应用于混合 IGM 可能会触发模型崩溃。通过分析这些故障，我们发现了两个关键挑战：激活中过多的异常值（EO）在保持正常精度和覆盖 EO 之间产生了不可调和的权衡，导致生成质量严重下降；由于微小的量化误差而不可预测地产生放大异常 (AA)，导致校准和推理之间不匹配，从而反复触发模型崩溃。为了应对这些挑战，我们引入了 HyGenQ，这是一种用于混合 IGM 的 PTQ 框架。 HyGenQ 包括分层集群解耦 (HCD) 和缩放重新校准 (SR)。 HCD通过多级聚类过程识别和解耦离群通道，在保持正常值精度的同时有效隔离EO，从而缓解性能下降。 SR 将 AA 缩放到高斯界限之外，从而避免由于激进截断而导致模型崩溃。大量实验表明，HyGenQ 成功地将代表性混合 IGM 量化至 8 位精度 (W8A8)，显着优于现有基线，并验证了其在不同模型系列中的稳健性。