论文
无分类器引导的扩散激活量化的联合分支空间变换编码
Joint Branch-Space Transform Coding for Diffusion Activation Quantization with Classifier-Free Guidance
摘要
扩散模型的后训练量化越来越多地利用时间步长、特征和层结构。虽然最近的工作已经开始将 CFG 结构合并到扩散量化中,但激活量化仍然在条件和无条件坐标上独立运行,从而使交叉激活结构未被利用。我们表明,匹配的 CFG 激活形成强相关的二维源,并且在固定比特预算下,分支编码基础的选择会严重影响量化保真度。受这一观察的启发,我们引入了分支空间变换编码,它通过离线导出的 2x2 正交矩阵旋转匹配的 CFG 分支,只需对模型参数或量化管道进行最小程度的修改。我们进一步推导了引导相关分支变换(GCBT),它联合结合了 CFG 引导方向和跨分支二阶矩。在等速率量化噪声替代下,GCBT 承认闭式每层解决方案,无需梯度优化或角度搜索。在现有扩散 PTQ 方法的基础上应用,GCBT 在大多数评估比较中产生了统计上显着的保真度增益,并且没有统计上显着的退化,同时保持底层主机量化管道不变。