OSC：通过通道维度中的异常值分离实现硬件高效的 W4A4 量化

虽然 4 位量化对于 大语言模型 的高吞吐量部署至关重要，但由于低位格式的动态范围有限，激活异常值通常会导致精度显着下降。在本文中，我们系统地研究了异常值的空间分布，并证明了词元持久的结构聚类效应，其中高幅度异常值始终占据跨词元的固定通道。基于这一见解，我们提出了 OSC，一种用于异常值抑制的硬件高效框架。在推理过程中，OSC执行双路径计算，包括低精度4位通用矩阵乘法（GEMM）路径和高精度16位分支GEMM路径。具体来说，OSC使用离线分组策略来识别异常值所在的通道，然后执行结构化子张量提取，将这些分散的激活通道在线合并为紧凑的密集张量。该机制通过正则化和高吞吐量的GEMM操作实现异常值保护，实现与现代4位微缩放硬件的无缝配合。此外，对于异常值聚类不太明显的 W2 的输入，我们将后备策略集成到 FP8 中。对 Qwen3-8B 和 Qwen3-30B 的评估将平均准确率下降分别限制在 2.19 和 1.12 点。值得注意的是，OSC 具有高度的硬件友好性，在现代 AI 加速器上实现了比 W8A8 GEMM 基线 1.78 倍的峰值加速。