HARP：用于极端 LLM 量化的 Hadamard 预处理自适应旋转处理器

后训练 量化 (PTQ) 对于在内存和带宽限制下部署 LLM 至关重要。然而，极低位量化仍然对激活异常值和各向异性权重曲率高度敏感。现有的基于不相干的 PTQ 方法通过固定的随机 Hadamard 变换 (RHT) 缓解了这个问题，该变换提高了量化鲁棒性，但无法使旋转基础适应层、校准分布或量化器。我们引入了 HARP（Hadamard 预处理自适应旋转处理器），这是一种可学习的结构化双面正交处理器，它取代固定的 Hadamard 混合，同时保持精确的全精度等效性。 HARP 将每次旋转表示为稀疏蝴蝶状块正交阶段的乘积，通过混合基数调度支持非二维幂，并将 RHT 处理器初始化为固定排列。 HARP 仅根据校准数据进行拟合，使量化基础适应每一层和后端。在 Llama 模型上从 1B 到 70B 的 2--4 位设置中，HARP 持续改善困惑度并在 2 位时产生最清晰的零样本增益； 2 位 Qwen3-8B 实验表明 Llama 家族之外也存在同样的转移。 HARP 还保留了部署效率：在 2 位的 Llama 2 7B 上，它达到 128 tok/s，保留了 90% 的 RHT 吞吐量（142 tok/s），并且运行速度比 FP16（61 tok/s）快约 2.1 倍。