MatPhaseBench：用于理解材料相图的语义引导基准

材料相图是材料科学的核心知识表示，编码温度、成分、相稳定性和相变路径，对其的充分理解需要热力学机理分析和科学推理。尽管 VLM 在科学图像理解方面表现出了良好的前景，但它们对这种需要深入机械解释的逻辑复杂图像的系统评估仍然有限，而相图为此目的提供了一个具有挑战性的测试平台。我们推出 MatPhaseBench，这是一个用于复杂科学图像理解的高质量、高可靠性基准，专注于材料相图。 MatPhaseBench由经典材料科学期刊的3681篇论文构建而成，从中筛选出200个高质量的图文对，涵盖189个材料系统和70个元素。该基准具有三个关键特征：（1）针对复杂的科学图像理解——它超越了简单的客观测试，转向需要深度理解的开放式任务； (2)全面的图文对齐——在文献挖掘和匹配过程中充分保留与图像相关的语义信息； (3)高质量的人工监督文本获取——所有描述都经过严格的人工验证。实验结果表明，当前的VLM在很大程度上落后于专家级的理解：它们很大程度上局限于表面视觉感知，缺乏基于热力学机制的深层推理，领域意识和专家分析经验有限，并且在区分复合或多图设置中的细粒度差异方面表现不佳。总体而言，MatPhaseBench 构成了一个具有挑战性的研究级基准，为复杂的科学图像理解、相图分析和科学领域值得信赖的多模态人工智能提供了基础平台。