仅预填充决策模型的读出稳定性与计算分配

受 Jev 模型启发的 预填充-only 决策模型在一次前向传递期间对菜单中的每个候选者进行评分，并且从不解码，这使得一次调用比相同规模的生成语言模型便宜一到两个数量级。我们证明这种读出结构具有可测试的属性。当干预仅更改候选菜单并保持输入文本固定时，干预后的准确性已由缓存的首遍分布确定。估计器将 pass-1 概率限制在菜单中，重新标准化，并读取 argmax；它不使用标签，也不使用第二次前向传递。在 7 个模型系列、10 个数据集和两种任务类型中，仅菜单干预的预测误差在 4.2 分以内，并且对于一个系列，预测是准确的。同一估计器的概率级别变体会出错 21.0 个点，因此该属性存在于排名中而不是概率中，并且无法通过校准来恢复。相同规模的生成语言模型不共享该属性。在这些模型上，相同的估计器会出错 1.6 到 15.8 个点，并且随着模型的增长而退化。该属性将推理时计算转变为可以在部署之前做出的决策。统一的额外通过购买校准但几乎没有准确性；在匹配的成本下，置信级联优于重新要求相同模型的每个方案，并且策划菜单击败了扩大模型，策划的 5 个候选菜单上的 0.8B 模型在 CLINC150 上达到 95.4%，而在完整的 150 个标签菜单上的 4B 模型达到 80.0%。代码和数据可在 https://github.com/rlisml/jev-cascade. 上获得