AdaHOP：通过异常值模式感知旋转进行快速准确的低精度训练

Hadamard 变换已成为稳定低精度训练的关键工具，但现有方法将它们统一应用于张量和计算路径。我们表明，这种一刀切的策略本质上是有限的：只有当哈达玛平滑的方向与操作数的离群值结构正确对齐时，它才能减少量化误差。通过对 LLM 训练中的权重、激活和梯度的系统研究，我们确定了三种稳定的异常值模式：行式、列式和无，并表明矩阵乘法中的每个异常值模式对都需要不同的变换或异常值处理策略。我们提出了 AdaHOP，即具有异常值模式感知策略的自适应 Hadamard 变换，当内部维度混合正确抑制操作数的异常值时，该策略应用内部 Hadamard 变换 (IHT)，并有选择地应用异常值提取 (OE)，将主要异常值行或列提取到高精度路径中。借助融合的硬件感知 Triton 内核，AdaHOP 能够以 MXFP4 精度和 BF16 级别的质量从头开始训练，同时实现高达 3.6 倍的内存压缩，以及比 BF16 提高 1.46 倍的端到端训练速度。