论文
不确定性感知网络条件科学事实检查
Uncertainty-Aware Web-Conditioned Scientific Fact-Checking
摘要
科学事实核查对于评估生物医学和材料科学等专业领域的主张至关重要,但现有系统经常产生幻觉或应用不一致的推理,特别是在来源和成本/延迟限制下针对证据片段验证技术、成分主张时。我们提出了一个以原子谓词论证分解和校准的、不确定性门控佐证为中心的管道:原子事实通过嵌入与本地片段对齐,由紧凑的基于证据的检查器验证,并且只有具有不确定支持的事实才会触发对权威来源的域限制网络搜索。该系统支持二值和三值分类,可以从支持、驳斥、NEI 中预测三向任务的标签。我们在两种制度下进行评估:仅上下文(无网络)和上下文+网络(不确定性门控网络佐证);当检索到的证据与提供的上下文冲突时,我们放弃 NEI,而不是覆盖上下文。在多个基准测试中,我们的框架超越了最强的基准测试。在我们的实验中,平均而言,仅对少数原子事实调用了网络佐证,这表明外部证据是在校准的不确定性下选择性参考的,而不是常规的。总体而言,将原子粒度与经过校准的不确定性门控佐证相结合,可以产生更具可解释性和上下文条件的验证,从而使该方法非常适合需要可追溯的基本原理、可预测的成本/延迟和保守的高风险、单文档设置。