论文
预注册可检测效果:4 位量化基准的配对 MDE 预算,并进行试点审核
Pre-Registering the Detectable Effect: A Paired-MDE Budget for 4-bit Quantization Benchmarks, with a Pilot Audit
摘要
这是一份带有不成对试点审核的规划方法说明。我们将经典的配对二元样本大小计算(Miettinen,1968)适应量化基准,在配对项目计数 $m$ 和 FP16-NF4 不一致率 $ρ_d$ 中给出保守的最小可检测效应 (MDE) 界限 $δ^{*} \le (z_{1-α/2}+z_{1-β})\sqrt{ρ_d/m}$。界限变成了“我的量化主张有多可靠?”基准设计者可以在运行之前将其纳入一行预算中。我们说明了四个模型和四个基准的界限($k=5$ 分割 $n=100$),并添加并行 MMLU 提示模板研究,将界限的量化噪声尺度与提示噪声尺度放在一起。假设 $ρ_d=0.10$(未测量的规划值),所有观察到的 NF4-FP16 增量均低于隐含的 MDE,并且大多数交叉分割 SD 位于二项式参考 $\sqrt{p(1-p)/n}$ 的 $\pm 1.5$ pp 内,因此在 $n=100$ 子样本上报告为“基准不可靠性”的大部分方差是二项式抽样噪声。单个边界单元格(OPT-WinoGrande,$|Δ|=3.2$ pp)低于隐含的 MDE($ρ_d=0.10$),但高于 $ρ_d=0.05$,说明了边界明确的规划权衡。在 MMLU 上,2-10 pp 的提示模板范围满足或超过观察到的最大量化增量 (3.2 pp),因此不首先修复提示模板的量化审核会将模板方差吸收到其本底噪声中。我们用五行预注册模板来补充绑定。