无损推测解码有多无损？ Orthrus 中数值精度的作用

Orthrus 是一种混合自回归扩散架构，它通过在使用冻结自回归主干的同时并行生成多个标记来加速自回归语言模型推理。其核心主张是模型内共识机制能够实现无损推测解码，产生与自回归模型相同的输出序列。我们独立地复制了 Orthrus 并在不同的数值精度下检验了这一说法。在 BF16 推理下，对于作者的检查点，准确的轨迹匹配仅发生在 45% 的情况下，对于我们独立训练的模型（来自 12 个领域的 1,190 个提示），准确的轨迹匹配发生在 43% 的情况下。精确匹配的概率也与参考模型的响应条件困惑度密切相关。尽管存在这种轨迹分歧，Orthrus 在下游 lm-eval-harness 基准测试中并未表现出系统性退化。相反，使用 FP32 重复轨迹评估可以在所有评估的提示上产生精确的轨迹匹配。这些结果表明，Orthrus 的实际无损性取决于数值精度，并且准确的轨迹等效性应与下游任务性能分开评估。