EarthVerse：在动态地球系统与自然灾害中评测科学智能体

地球系统分析要从来源、尺度、时间与模态各异的观测中重建不断变化的物理过程。自然灾害使这项工作事关重大，因为证据不完整可能改变对严重程度、暴露范围与机制的估计。我们提出EarthVerse，一个通过以事件包为范围的调查来评测科学智能体的基准。它的405个可复现任务扎根于199个有记录的事件和19个灾害族。智能体需检查异构事件包、选择兼容的证据、执行透明的计算、调和来源差异，并在最终答案中保留数据出处。我们提供将每个任务分解为细粒度答案单元的可执行真值，以及评估支撑性研究过程同时允许多条有效路径的任务专属评分细则。我们在受控的工具使用协议下评测25个模型与智能体系统，然后通过受控研究定位证据访问、工具选择、记忆、推理、交互与科学执行方面的失败。跨系统来看，最佳平均答案单元准确率为84.65%，而最高Strict@95仅为34.81%。这一差距表明，当前智能体往往能完成单个步骤，却无法在证据、尺度、单位、计算与物理解释之间维持一致的链条。EarthVerse为衡量动态地球系统中的端到端科学可靠性提供了可复现基础。