论文
KroQuant：用 Kronecker 结构块变换高效量化扩散 Transformer
KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers
摘要
扩散 Transformer 后训练量化至 W4A4 会严重损害质量，因为各线性层输入的离群激活难以由四位格式表示。常用修复在量化前对激活施加可逆变换，并对权重施加其逆变换，但块间归一化要求每次去噪在线执行，推理成本成为关键约束。逐通道缩放计算便宜却可能损害精度；固定 Hadamard 变换需要大块带来在线成本；完整可逆变换精度较好却需昂贵的逐层稠密矩阵乘法。KroQuant 在每个 32 元素块上学习 Kronecker 结构可逆变换，存储参数不到逐通道缩放的一半。局部块结构可用小型张量核矩阵乘法实现，MI350 上量化内核最高比 SmoothQuant 快 14%。离线 LoRaQ 权重校准吸收剩余逐权重量化误差。PixArt-Σ、SANA、FLUX.1-schnell 的 W4A4（MXFP4e2）测试中，在 MJHQ-30K 与 SDCI 上输出比 SVDQuant、LoRaQ 更接近浮点参考，同时保持或改善图像质量。