ShamAN-Q：以Shampoo式曲率度量改进低于1位的大语言模型权重量化

我们引入了 ShamAN-Q，这是一种亚 1 位的训练后量化方法，它使用由 Shampoo 优化器推广的通用范式，通过用易于处理的密集曲率度量替换每个对角重建几何结构来扩展 NanoQuant。对于每个线性权重，ShamAN-Q 将 Kronecker 乘积拟合到 Kullback-Leibler 最小化的小校准集的经验 Fisher 信息矩阵，从结果中形成 Mahalanobis 重建损失。 NanoQuant 的连续ADMM 更新成为 Sylvester 方程的解，而其离散投影和部署格式保持不变。由于曲率对于给定的一组权重而言是局部的，因此 ShamAN-Q 在层分解之前重新测量每层的输入曲率统计数据，定期刷新部分量化模型的所有统计数据。 ShamAN-Q 还以相同的总位数跨层重新分配来自 NanoQuant 的统一秩。在 Qwen3-Base 上，ShamAN-Q 将 WikiText-2 的困惑度降低到 $\approx$1 bpw，从 27.56 降低到 22.96 (0.6B)、19.21 降低到 16.72 (1.7B)、14.29 降低到 13.80 (4B)，同时匹配或提高 Eleuther LM 评估Harness的零样本精度。在 0.6B 上，ShamAN-Q 的 $\approx$0.8 bpw 与 NanoQuant 公布的 $\approx$1.0 bpw 的困惑度相匹配。