权重量化对经验Fisher信息矩阵的谱扰动

我们研究参数统计模型的经验费希尔信息矩阵 (FIM) 在两种结构化扰动下的谱扰动：输入偏离参考（分布内）系综，以及模型参数的有限精度（量化）扰动。首先，在关于 FIM 的主导特征值 lambda_max 的显式局部曲率单调性假设下，我们证明偏离参考流形可以相对于校准基线提高 lambda_max（命题 3.2），并讨论为什么需要这个假设，因为曲率不需要在每个扰动下单调增加。我们的主要结果是方向特征值扰动界限，通过 Weyl 不等式，表明量化噪声扰动下的 lambda_max 的下界是其未扰动值直至三阶余数，并且在温和的通用性条件下，在前导阶上严格超过它（定理 4.3）。我们给出了 lambda_max 的两种易于处理的近似值——一种是启发式的，一种是具有严格两侧界限的——以及基于阈值的增强状态空间划分的完整性结果。这些结果促使使用 sigma_t = lambda_max(F_t)/lambda_base 作为已部署语言模型的运行时监控统计数据：量化结果为我们自己的经验观察提供了一种机制，其中该统计数据的校准阈值比 4 位量化模型的初步全精度估计大约 244 倍，是单个测量而不是以封闭形式导出的值。我们报告了与我们的预测大致一致的支持测量（12 个模型，n=1,080 个轨迹），讨论了每个结果的范围和局限性，并将我们的界限不提供的量化膨胀幅度的封闭式预测陈述为一个开放问题。