CentriQ：通过精确均值中心对扩散变压器进行免校准量化

扩散变压器 (DiT) 实现了最先进的图像生成，但其采样成本限制了部署。将权重和激活量化为 4 位可以降低此成本，但现有方法在以下两个方面存在不足。基于校准的方法与特定的检查点和提示分布相关，而对LLM有效的无数据 Hadamard 旋转会损失 DiT 的质量。我们表明这种损失有结构性原因。自适应层范数条件为激活添加了每token均值，并且在评估的 DiT 的宽度处，无数据方法使用的 Hadamard 旋转无法将该均值均匀地分布在坐标上。因此，单个主导方向在旋转后仍然存在并设置量化范围。我们引入了 CentriQ，这是一种免校准量化器，它在旋转之前将每个token居中，并通过 1 级全精度分支精确恢复均值，以便每个token尺度在没有数据的情况下以封闭形式遵循。权重安装在强大的 $\ell_p$ 目标下，该目标跟踪每个组的密集模式并折扣重尾。在三个 DiT 中，CentriQ 与 4 位校准 SVDQuant 的质量相匹配，而具有普通每token激活量化的免校准权重量化器会大幅崩溃或降级。 CentriQ 在 2 位权重方面优于迄今为止报道的最强的免校准方法。它也是第一个在 2 位激活时保持可用图像质量的免校准方法。