PrismQuant：分组量化器的最佳零空间旋转

较小的激活异常值并不一定意味着更好的低位量化：它们与量化器的对齐很重要。我们引入了 PrismQuant，一个量化器感知的旋转框架，它将主导激活特征空间与不对称分组 INT4 的常量组子空间对齐。仿射偏移表示该子空间中的能量，而不扩大组内的范围。我们将旋转设计制定为 Ky Fan 轨迹最大化，并得出一个封闭式解决方案，该解决方案对于该对齐目标而言是最佳的。紧凑的 Householder 变换及其紧凑的 WY 表示可在可折叠网站和在线网站上实现无梯度构造和高效应用。预测范围定律进一步将未对齐的激活能和组大小与量化相关的变化联系起来。 Llama、Qwen 和 Mistral 的实验跨越了高达 70B 参数的密集模型和 30B 专家混合模型。在 W4A4KV4 下，PrismQuant 在困惑度和准确性方面都在比较方法中设定了 Llama-3.2-3B 的最先进技术。在 Llama-3.1-70B 上，它达到了 3.85 的困惑度和 72.46% 的平均零样本精度，仅比全精度低 0.22 个百分点。在 Llama-3.1-8B 的部署研究中，我们的优化实现比匹配的 FP16 基线实现了 1.51 倍的预填充和 1.22 倍的 CUDA 图形解码加速，与 Hadamard 相比，解码峰值内存降低了 56.34%，图形解码延迟仅增加了 2.35%。代码可在 https://github.com/ForeverBlue816/PrismQuant. 获取