超越标量灵敏度：具有跨层细化的激活感知混合精度 LLM 量化

混合精度权重量化通常被表述为多项选择背包问题 (MCKP)，但现有的求解器依赖于标量敏感度代理，将每个权重矩阵的 Hessian 矩阵折叠为单个数字并独立处理每个模块。我们证明，即使是最佳标量代理，相对于完整的激活感知二次方程也会产生高达 $\sqrt{\kappa(\mathbf{A})\kappa(\mathbf{B})}$ 的乘性失真，其中 $\kappa(\mathbf{A})$ 和 $\kappa(\mathbf{B})$ 表示输入侧和输出侧的条件数黑森因素。对于典型的 LLM 模块，此界限从 $10^1$ 到 $10^{13}$ 不等，使得模块间敏感性排名不可靠。为了解决这些限制，我们提出了跨层激活感知灵敏度分配（CASA），这是一种两阶段方法。在第一阶段，标量代理被从 Kronecker 因子 Hessian 派生的激活感知度量所取代，将 MCKP 简化为连续松弛允许闭合形式解的形式。在第 2 阶段，跨层感知本地搜索使用端到端模型损失来评估位宽更新。对不同比特预算的多个 LLM 进行的实验表明，CASA 比最新的标量代理基线实现了更低的复杂度，特别是在超低比特宽度（每个权重 $<3$ 位）下。此外，零样本精度的性能增益跟踪模块上每个模型的平均条件数，确认失真界限作为标量代理故障的实际指标。