三元量化下 ReLU + RMSNorm 模块中符号幅度不对称性的几何分析

具有 RMSNorm 的预范数 Transformer 可以容忍三元 {-1,0,+1} 权重量化，并且损失非常小（Ma et al., 2024）。我们通过权重扰动的符号幅度分解给出几何解释。在具有 i.i.d. 的两层 ReLU + RMSNorm 模型中高斯权重、符号翻转产生的横向输出能量比相等 Frobenius 范数的符号保持幅度扰动多出 $π/(π-2) \ 大约 2.75$ 倍，因为翻转率 $p \ 到 0$（定理 3）。机制：ReLU 在两种扰动类型之间创建隐藏空间方向不对称性，RMSNorm 的横向投影 Fréchet 导数有选择地暴露这种不对称性。符号量化误差本身就是一个角度对齐 $\cos^2 \to 2/π$ 的符号保持扰动（定理 4）；它的 ReLU 后径向分数 ($0.365$) 与 ReLU 前值 $1-2/π$ 在 $0.4\%$ 范围内匹配，因此 ReLU 对三元误差近似透明。实验上不支持$2.75\times$因子的多层复合；与真实模型符号敏感性的差距源于违反离域的异常特征。对于幅度为 $α$ 的输入维度，单个符号翻转会产生相对于离域条目放大 $R \approx nα^2$ 的 ReLU 后能量。在 TinyLlama-1.1B 上，在线性响应 ($p \leq 0.5\%$) 下，计数匹配的 NLL 杠杆稳定在 $\sim 10\times \approx n\mathbb{E}[α^2]$，与每条目理论相匹配； $5.0\times$ 的全列 NLL 比率落在 $R_{\mathrm{col}} \leq 19$ 范围内（$67\times$ PPL 差距反映了度量非线性）。第 12 层测量的异常值 $α$（中位数 $0.024$，最大值 $0.26$）证实了重尾集中。 Bussgang 常数 $2/π$、RMSNorm 几何和 ReLU 半空间结构共同解释了前范数模型中的符号幅度不对称性，其中 $R \propto nα^2$ 解释了真实模型偏差。