OrbitQuant：图像和视频扩散的数据无关量化 Transformer

Diffusion Transformer (DiTs) 实现了最先进的图像和视频生成，但其多步采样和不断增长的参数数量使得推理成本高昂。 后训练 量化 (PTQ) 是自然的补救措施，但 DiT 激活会跨时间步长、提示和指导分支转移，迫使先前的方法为每个新的检查点或模态重新拟合校准数据。我们提出了 OrbitQuant，一种与数据无关的权重激活量化器，它通过在标准化、旋转的基础上进行量化来绕过范围估计。在此基础上，随机排列的块哈达玛 (RPBH) 旋转将每个坐标集中在一个固定的、已知的边缘周围，而不管输入如何，因此单个 Lloyd-Max 码本可以服务于给定输入维度的所有时间步长、提示和层。我们将相同的量化器扩展为离线权重行，将旋转吸收到权重中，以便它在每个线性层内取消，并且在运行时仅保留激活的前向旋转。相同的配方从图像传输到视频，无需按模态进行调整。在 FLUX.1、Z-Image-Turbo、Wan 2.1 和 CogVideoX 中，它在多个低位设置上设定了 PTQ 的最新技术。它还将图像扩散 Transformer 的 PTQ 推至具有可用生成质量的 W2A4。