FrontierMat用真实材料研发证据测量前沿科学推理

为了加速材料发现，语言模型必须能够解决研究前沿的问题。然而，教科书和考试得出的基准主要评估既定知识，而前沿研究问题的表现很大程度上未经测试。我们介绍 FrontierMat，这是一个包含 330 个问题的基准，这些问题来自航空航天、半导体、具身智能和核聚变等领域的前沿学术和工业研究。每个问题都经过该领域领先的实验家和行业专家的验证。每个问题都提出了一项真实的研究，并要求模型推断出未展示的研究结果或从选定的实验证据中得出结论。按功能领域、材料体系及主导机制所处尺度标注问题； 130 需要跨尺度推理。最强的通用模型得分仅为53.7%，在匹配问题上，跨尺度问题的得分比单尺度问题低8.7个百分点。一半的问题最多可以通过一种模型来解决，而模型的失败主要是因为认可看似合理的结论，而非实验实际观察到的结果。一项采用元加权持续预训练和尺度模块化自蒸馏的领域适应研究将开放权重模型从 36.7% 提高到 55.4%，与最强的专有模型相匹配，公共材料基准有所改进，通用基准的总体性能没有下降。 FrontierMat 提供了一个测试平台，用于衡量支持前沿材料研发的语言模型的进展。