SciHorizo​​n-DataEVA：用于异构科学数据的人工智能就绪评估的代理系统

AI-for-Science (AI4Science) 通过将机器学习模型嵌入到跨领域的预测、模拟和假设生成工作流程中，正在日益改变科学发现。然而，这些模型的有效性从根本上受到科学数据的人工智能准备程度的限制，目前尚不存在可扩展和系统的评估机制。在这项工作中，我们提出了 SciHorizo​​n-DataEVA，这是一种新颖的代理系统，用于对异构科学数据进行可扩展的人工智能就绪性评估。在评估标准层面，我们引入了 Sci-TQA2 原则，将人工智能就绪性分为四个互补维度：治理可信度、数据质量、人工智能兼容性和科学适应性。每个维度都被分解为可测量的原子元素，从而实现细粒度和可执行的评估。为了大规模实施这些原则，我们开发了 Sci-TQA2-Eval，这是一种通过定向循环工作流程精心策划的分层多智能体评估方法。我们的 Sci-TQA2-Eval 通过结合轻量级数据集分析、适用性感知指标激活以及基于领域约束和数据集论文信号的知识增强规划，动态构建数据集感知评估规范。这些规范通过具有内置验证和自我校正功能的自适应、以工具为中心的评估机制来执行，从而能够跨异构科学数据进行可扩展且可靠的评估。对跨多个领域的科学数据集进行的广泛实验证明了 SciHorizo​​n-DataEVA 在原则性 AI 就绪性评估方面的有效性和通用性。