论文
MOF-VERIFY:MOF假设验证的失效感知智能体Harness
MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification
摘要
大语言模型日益作为推理组件用于AI驱动的材料协同科学家,但所得验证管道的可靠性仍不清楚。金属有机框架(MOF)提供特别具有挑战性的设定:结构可能以不同标识符出现、合成结果强烈依赖实验条件、证据分布于异构来源、且部分假设需要计算而非仅文献。我们提出含四个任务族的诊断基准,覆盖结构接地、合成条件验证、证据充分性验证与基于MLIP的计算验证;T-MOF-1-3在闭卷、启用检索与oracle证据设置下评估,以定位知识访问、证据获取与推理中的失败,T-MOF-4单独评估计算验证。以这些诊断出的失效模式为指导,我们开发MOF-Verify——失效感知的Agentic 智能体Harness,在给出最终判定前针对结构、文献、证据充分性与计算瓶颈。跨多个骨干LLM,MOF-Verify的假设验证性能大幅超越直接推理与检索基线。基准数据集发布于GitHub。代码/项目页:https://github.com/IMMS-Ewha/MOF-Verify-Benchmark。