SOAR：NVFP4 量化中精确重建的规模优化

NVFP4 最近已成为 大语言模型 (LLM) 的高效 4 位微缩放格式，通过本机硬件支持提供卓越的数值保真度。然而，由于尺度选择不灵活以及量化和反量化尺度的耦合处理，现有方法常常产生次优性能。为了解决这些问题，我们提出了精确重建尺度优化（SOAR），这是一种新颖的 后训练 量化框架，可以提高 NVFP4 量化的准确性。 SOAR 的核心特征是闭式联合尺度优化 (CJSO)，它通过重构误差最小化得出的解析解来联合优化全局和分块尺度。此外，它还结合了解耦尺度搜索（DSS）。 DSS 将高精度量化尺度与其受限反量化对应物解耦，并执行离散搜索以减轻尺度量化带来的精度损失。跨多个 LLM 的大量实验表明，我们的方法始终优于现有的 NVFP4 量化基线，在相同的内存占用量下实现卓越的精度，而无需额外的硬件开销。代码和模型将在 https://github.com/steven-bao1/SOAR 上提供。