针对哪个 Oracle 进行了认证？执行标签设置文本到 SQL 的一致弃权的报告风险

文本到 SQL 的保形弃权证书的真实性取决于其校准所依据的正确性标签。从执行一致性中读取信心的不确定性管道从基准测试所提供的单个数据库（已知是宽松的预言机）中获取这些标签。我们对 Spider-Realistic 进行了预注册干预，将该数据库替换为基准测试的精炼多实例测试套件。在四个 SQL 专家检查点和两个拆分方案中，交换使证书的保留风险比其自己的标签报告的风险高出 2.73 到 10.23 个点。两个预言机都没有报告专家分配的风险。在两位 SQL 专家的盲法标签下，标称 0.10 校准的证书在两个检查点上具有 20.0 和 17.2 点风险。更严格的预言会在两个方向上犯错误：它拒绝的大多数答案并没有被判断为错误，而它接受的一些答案却被认为是错误的。人工智能对其拒绝的物品进行的普查发现，四分之一到三分之一的物品存在语义错误，具体取决于人口数量。它将其余大部分归因于未指定的问题、综合实例或可疑的参考查询缺陷，这是由预先注册的盲法专家审核支持的标志。预言机还决定如何判断置信度分数。在构建其集群的预言机标签下，在 16 种组合中的 16 种中，每个执行一致性分数看起来都更好。在专家标签下，在套件集群而不是已发布的数据库集群上构建这样的分数会在一个检查点上将其 ROC 曲线下面积 (AUROC) 提高 6.96 点，在另一个检查点上提高 1.53 点。第二个，专家区间不包括套件标签报告的 8.3 点。证书应与两个预言机一起报告，只有在审核基准之后，与预言机相关的差异才会被视为语义风险。一致性分数应该在未构建它的预言机下进行评估。