DuQuant++：细粒度旋转增强微尺度 FP4 量化

MXFP4 微缩放格式将张量划分为共享 E8M0 缩放因子的 32 个元素块，已成为高效 LLM 推理的有前途的基础，并得到 NVIDIA Blackwell 张量核心上的本机硬件支持的支持。然而，激活异常值在这种格式下提出了独特的挑战：单个异常值会夸大共享块尺度，压缩剩余元素的有效动态范围并导致显着的量化误差。现有的基于旋转的补救措施，包括随机哈达玛和可学习的旋转，与数据无关，因此无法专门针对异常值集中的通道。我们提出了 DuQuant++，它通过将旋转块大小与微缩放组大小 (B{=}32) 对齐，将 DuQuant 的异常值感知细粒度旋转调整为 MXFP4 格式。由于每个 MXFP4 组都拥有独立的缩放因子，因此原始 DuQuant 中需要双重旋转和锯齿形排列的跨块方差问题变得无关紧要，使 DuQuant++ 能够用单个异常值感知旋转替换整个管道，这将在线旋转成本减半，同时平滑权重分布。在 MXFP4 W4A4 量化下对 LLaMA-3 系列进行的大量实验表明，DuQuant++ 始终能够实现最先进的性能。我们的代码可在 https://github.com/Hsu1023/DuQuant-v2 获取。