论文
ScaleSweep：通过块级初始化对 LLM 进行准确的 NVFP4 后训练 量化
ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization
摘要
NVFP4 是最近推出的硬件支持的 FP4 格式，它通过细粒度的块尺度提高 4 位量化的保真度。然而，现有的NVFP4尺度初始化方法仍然主要依赖于AbsMax初始化，这与最优解存在明显差距。为了解决这个问题，我们提出了 ScaleSweep，一种简单而有效的规模优化方法，它扫描可行的块规模候选，并选择最小化目标目标的候选。我们进一步提供了 NVFP4 量化的理论分析，并推导了原始张量和量化重建张量之间的均方误差 (MSE) 和加权均方误差 (WMSE) 下所需扫描范围的下限和上限。所提出的边界大大减少了扫描空间，同时保留了最佳候选，与基线量化算子相比，开销可以忽略不计。 Llama 和 Qwen 模型上的实验表明，与现有初始化方法相比，ScaleSweep 持续提高了量化性能，并进一步缩小了与全精度的差距。特别是，在权重、激活、KV 缓存和查询状态的积极端到端量化下，ScaleSweep 保留了超过 93% 的全精度性能。