超越精度：低精度快速矩阵乘法的前缀不变实现

快速矩阵乘法通过精确取消来节省乘法，但混合标记行的舍入总和可能会在早期语言模型输出中留下后面标记的贡献。这威胁到了多项选择似然评分所依赖的前缀不变性：评分的似然必须仅取决于其允许的前缀。在 Qwen2.5-14B-Instruct 上，当仅将允许的前缀后面的文本替换为 bf16 模型自己的贪婪延续时，修复到普通精度的两个快速 FP8 实现仍然会更改 240 个 OpenBookQA 项目中 5.83% 和 10.00% 的似然选择的答案。行局部控制、bf16 模型和部署的 FP8 矩阵乘法内核都没有改变。因此，准确性并不能证明前缀不变性，并且我们分析的稳定性标准无法区分实现：在两级 Strassen 的所有 512 个符号变体中，它们保持不变，而教师强制的困惑在同一模型上跨越 772.4$\times$ 范围。因此，我们在有界整数代码上构造两级 Strassen 的认证实现，这些整数独立地量化标记行，然后在重新缩放之前精确地混合和取消，使用 49 次块乘法而不是 64 次。我们的证书保证在相同的量化规范下与规定的行局部经典 int8 运算符按位相等，因此每个认证实现都继承其前缀不变性。因此，认证将实现选择转变为纯粹的成本决策：运行哪种经过认证的实现不再能够改变单个评分的可能性。