论文
技术报告：激活低位 LLM 量化的残差 Hessian 量化 (ARHQ)
Technical Report: Activation Residual Hessian Quantization (ARHQ) for Low-Bit LLM Quantization
摘要
我们提出了激活残差 Hessian 量化 (ARHQ)，这是一种 后训练 权重分割方法，旨在减轻低位激活权重量化中的错误传播。通过从激活量化残差 (G_x) 构造输入侧残差 Hessian，ARHQ 分析识别误差敏感权重方向并将其隔离到高精度低秩分支中。这是通过缩放权重矩阵 W G^{1/2}_x 上的封闭形式截断 SVD 来实现的。 Qwen3-4B-Thinking-2507 上的实验结果表明，即使在激进的量化下，ARHQ 也能显着提高逐层 SNR，并保留 ZebraLogic 的下游推理性能。代码可在 https://github.com/BeautMoonQ/ARHQ 获取。