PRQuant：低开销推理的排列残差量化

线性层低位量化的准确性通常由少量异常值决定。尽管现有的方法（例如平滑、旋转或基于残差的方法）可以缓解这个问题，但它们经常会给权重带来新的准确性瓶颈。此外，大多数这些技术都是作为在线方法实现的，这可能会导致大量的执行开销。为了解决上述问题，我们提出了 PRQuant（排列残差量化），这是一种免训练且低开销的框架，它将通道重组与静态权重侧残差补偿相结合。在 AWQ 式缩放之后，PRQuant 识别对权重量化误差贡献最大的输入通道，将它们排列成连续的尾部块，并离线构建其剩余权重子张量。在推理过程中，这种连续的结构使激活端能够无缝地使用尾部块，而无需昂贵的在线收集操作，并将分散的残差补偿转变为常规的尾部增强的GEMM，从而大大减少了延迟。实验证明PRQuant有效降低了下投影重建误差。消融研究证实，平滑和残差补偿是数值改进的主要驱动力，而排列提供了一致的边际数值效益，更重要的是，实现了硬件友好的连续布局，消除了动态收集开销。总体而言，PRQuant 在五个下游基准测试中的平均准确度优于默认 MXFP4 和评估的 PTQ 基线，在 Qwen3-4B-Instruct-2507 和 Qwen3-30B-A3B-Instruct-2507 上分别比 MXFP4 提高了 1.24 和 0.55。