论文
类型安全不等于无错:受约束决策头跟随选项名称而非绑定的判据
Type-Safe Is Not Error-Free: A Constrained Decision Head Follows the Option Name, Not the Rubric Bound to It
摘要
类型化决策模型专为模型输出被软件直接消费的场景构建:它们不生成自由文本,而是在预定义选项集合上返回一个决策。就构造而言,每个输出都符合所需模式。然而这一保证并不能告诉我们模型是否按预期解释这些选项。我们通过改变选项名称与判据(rubric)之间的绑定方式,研究了Jev及两个开放权重的类Jev模型。每个选项由一个选项名称和一段定义该选项含义的文本判据组成。我们只改变哪个选项名称绑定到哪条判据;问题、状态、判据措辞与选项名称集合完全不变。在1,200个带任务特定判据的工作流决策上,把两个选项从0/1重命名为no/yes会使每百个答案多翻转70.4个(95%置信区间:[67.6, 73.1]),并把AUC从.94移到.23,揭示了决策排序中的系统性反转而非简单的不确定性。同一操作对中性选项名称几乎没有影响。该模式在全部4个谓词上成立,效应至少是中性对照下的7.4倍,并随选项数量增加而增强。该效应还取决于读出几何:一个对完整选项跨度做均值池化的第二模型家族,翻转频率低4.1倍。托管模型表现出同样行为:交换使AUC从.8146变为.5806,产生的答案翻转是其重测下限的24倍。相比之下,把选项名称替换为随机字符串使所有模型家族回到中性对照区间,而准确率不降。因此,这一失败取决于选项名称的语义极性,而非重命名操作本身。在所有条件下,类型错误率保持为0%,即便决策准确率大幅退化。