当验证失败时：组合上不可行的主张如何避免被拒绝

科学声明验证是确定声明是否包含科学证据的任务，对于建立证据发现同时防止错误信息至关重要。此过程涉及根据经过验证的证据评估每个断言的约束。根据封闭世界假设 (CWA)，当且仅当所有断言的约束都得到积极支持时，声明才会被接受。我们表明，现有的验证基准无法区分执行此标准的模型和应用称为显着约束检查的更简单快捷方式的模型，后者仅将 CWA 的拒绝标准应用于最显着的约束，并在支持该约束时接受。由于现有基准通过干扰单个显着元素来构造不可行的声明，因此它们不足以区分严格的声明验证和简单的显着约束依赖。为了将两者分开，我们构建了组合上不可行的主张，其中显着约束得到支持，但非显着约束受到矛盾。在模型系列和模式中，那些使现有基准饱和的模型始终过度接受这些主张，证实了这种捷径推理的普遍存在。通过模型上下文干预，我们表明不同的模型和提示策略在共享的 ROC 曲线上占据不同的位置，这表明模型族之间的差距反映了验证阈值的差异而不是潜在的推理能力，并且组合推理瓶颈是当前验证行为的结构属性，仅靠策略指导无法克服。