概率契约：跨 LLM 接口的准确性、连贯性和决策

用于决策的概率应参考等效请求中的同一事件。我们引入了概率契约、连接精确的有限世界后验、经过验证的事件转换和故障感知决策评估的基准。在 1,000 个世界上评估四种模型界面配置。他们的评估在准确性、一致性和决策损失方面有所不同：Kev 的总体典型后验误差比 Jev 更低，但补集和粗化残差更大，准确度排序因层而异。 Jev 的事件和选择接口以延迟成本 0.10 对 32.8% 的有效对引发不同的二元操作。事后分析发现，分歧仅证明配置间的平均二进制对误差为 11-52%。基本的动作区域特征解释了平均何时改变相对于随机选择一个接口的决策损失。虽然平均不会恶化该基线的预期 Brier 分数，但其决策效果取决于成本和跨越边界；观察到的相同基线惩罚发生在已经比总是延迟更糟糕的配置中。该基准使这些区别可以衡量，而不将一致性视为准确性或将分数提高视为决策保证。