用单个随机探针估计量化敏感度，分配混合精度预算

单个随机高斯探针给出层量化误差的平方弗罗贝尼乌斯范数的无偏估计。该估计器表现良好，因为舍入到最接近的误差在频谱上是平坦的。在 35B MoE 和 9B 密集模型的 1,683 个张量中，有效维度是 i.i.d 的 0.93 到 0.96 倍。相同形状的噪声值，并且在 MoE 上中位数从 2 位到 8 位没有变化。探针变异系数可根据张量形状预测。一个探针测量每个张量的灵敏度在 4% 到 7% 范围内；二十个探针达到 1.3 至 1.4%。RAM 将此估计器的传播形式应用于没有校准数据的预算目标混合精度量化。携带网络自身输入统计数据的高斯探针以六个位宽对每个张量进行评分。背包求解器在精确的字节预算下分配位，并防止灾难性的 2 位分配。一次探测即可满足任何预算。孤立分数和传播分数在 Qwen3.5-35B-A3B (Spearman -0.01) 上独立对张量进行排名，但传播探针排名与来自真实激活的 GPTQ 层目标的相关性为 0.81 到 0.83，而孤立估计量与之不相关。该目标是错误的分配目标：在 Qwen3.8-27B 上的匹配字节处，块输出探针击败了供应商 IQ3_M 混合和从实际激活 http://objective.On Qwen3-8B 分配的预言机，传播的探针在匹配字节处绑定了 HAWQ-V2。在从 8B 到 122B 的 7 种架构中，在一个工作站上的 9 分钟内探测计时高达 400B 模型，RAM 的 WikiText-2 困惑度中值比在测试的 MoE 模型上大小相当的统一 4 位构建低 3.5% 到 13.6%