Jev知道“我不知道”却未表达：用于概率校准的Sys1Cal-v1数据集

Jev 的出现标志着系统一模型时代的到来，这是一种以概率分布而不是文本返回结构化决策的基础模型。除了低成本和高速之外，Jev 的核心承诺是这些概率是经过校准的：这种说法没有得到任何公开测试的支持，并且可用的外部基准评估置信度校准，而不是每个返回的选项概率是否具有正确的数值含义。为了解决这个问题，我们引入了 Sys1Cal-v1，这是一个关于命题 $A$ 的真/假问题的数据集，通过构造已知其确切概率 $P(A)$。每个项目都通过三个 Jev 原语（Noul、Choice 和 Score）进行查询，并通过与真实分布的总变异距离进行评估，这可用于估计系统一模型的软准确性。我们通过评估 Jev 和 SemIf（开源 Choice 风格的基线）来展示 Sys1Cal-v1 作为基准数据集的实用性。然而，在这项工作中，我们通过研究其分数和选择答案的校准，更加深入地关注 Jev。特别是，我们发现了一种奇怪的行为，可以通过假设 Jev 抑制超越真与假的第三个真值来解释。换句话说，在 \texttt{Choice} 答案中，$P(A)$ 和 $P(\neg A)$ 的呈现方式就好像 $P(A)+P(\neg A)=1$，而总和中缺少项 $P(U)\neq0$。恢复 $P(U)$ 可以将 \texttt{Choice} 答案中的中值软准确率从 $0.771$ 提高到 $0.978$，这表明，即使在二元决策中，Jev 也想用第三个选项来回答：“我不知道”。