PRISM：将漂移分解为尺度、形状和头部的几何风险界限

单个基础 LLM 现在附带数十个 后训练 变体，量化的、LoRA 改编的或蒸馏的，并且每个变体都必须在发布前进行检查。现有的评估仅提供了部分情况：基准分数和可能性屏幕表明变体已退化，CKA 和 SVCCA 等相似性分数表明其特征如何移动，两者没有任何联系。我们将它们与一种结构事实和一种设计选择联系起来：预测头是线性的，因此特征几何形状达到了损失，并且我们通过正交图比较两个特征集，这使得被测量的几何形状保持不变。由此我们推导出 PRISM，这是目标模型和代理变体之间交叉熵风险差距的封闭形式上限，并证明它准确地分为三个可测量的轴：规模、形状和头部。每个轴都指定了一种故障模式以及干预位置：低位量化会扭曲形状，并且在最低位宽下还会夸大激活规模；量化输出嵌入会增加头项，该头项在高位宽下占主导地位。由于形状项是可微的，因此相同的几何形状成为正则化器，它比经验重放更能抑制灾难性遗忘。在两个模型系列和五个基准中，PRISM 对一次前向传递的量化和微调变体进行了平均 Spearman 高于 0.8 的排名，并且八个参考序列已经恢复了风险差距本身需要一百多个才能达到的排名。