论文

ClimateCheck 2026:气候相关主张的科学事实核查和虚假信息叙述分类

ClimateCheck 2026: Scientific Fact-Checking and Disinformation Narrative Classification of Climate-related Claims

模型评测基准与评测资源

摘要

根据科学文献自动验证与气候相关的主张是一项具有挑战性的任务,由于学术证据的专业性和气候虚假信息背后的修辞策略的多样性而变得复杂。 ClimateCheck 2026 是应对这一挑战的共享任务的第二次迭代,在 2025 年版本的基础上进行了扩展,提供了三倍的训练数据和新的虚假信息叙述分类任务。该竞赛于 2026 年 1 月至 2026 年 2 月在 CodaBench 平台上举办,吸引了 20 名注册参与者和 8 份排行榜提交作品,其系统将密集检索管道、跨编码器集成和 大语言模型 与结构化分层推理相结合。除了标准评估指标(Recall@K 和 Binary Preference)之外,我们还采用自动化框架来评估不完整注释下的检索质量,暴露了传统指标对系统进行排名的系统偏差。跨任务分析进一步表明,并非所有气候虚假信息都同样可验证,这可能暗示未来的事实核查系统应如何设计。