论文
通过稳定的对角曲率估计实现稳健的超低位 后训练 量化
Robust Ultra Low-Bit Post-Training Quantization via Stable Diagonal Curvature Estimate
摘要
大语言模型 (LLM) 在许多领域广泛使用，但其规模使得部署具有挑战性。 后训练 量化 (PTQ) 通过利用小型校准集减少内存占用，无需重新训练。最近基于 Hessian 的 PTQ 方法通过跨通道依赖性补偿量化误差，但由于来自有限校准数据的噪声曲率估计，此类方法在低位宽下性能下降。我们提出了 DASH-Q，这是一种使用对角线 Hessian 近似和迭代加权最小二乘法的鲁棒 PTQ 框架。通过丢弃容易产生噪声的依赖性，DASH-Q 可以过滤采样噪声，同时优先考虑保留显着特征能力。我们在超低位范围内优于其他 PTQ 基线，在五个基线 LLM 模型中，零射击精度平均提高了 7.01%，比最强基线提高了 14.01%，同时在非常小的校准数据下显示出强大而稳定的性能。