论文
从盲目猜测到明智判断：教授 LLM 通过构建知识增强偏好信号来评估材料
From Blind Guess to Informed Judgment: Teaching LLMs to Evaluate Materials by Building Knowledge-Augmented Preference Signals
摘要
随着候选生成和高通量实验的进展，材料发现的主要瓶颈正在从属性预测转向在大量候选集中进行可靠评估。我们提出了一个知识增强偏好信号框架 MaterEval，它可以为同一候选人自动生成两种评估：遵循专家规则并提供支持证据的知情判断，以及消除规则的盲目猜测。通过将两个评估配对作为偏好数据，我们引导原本缺乏材料特定标准的通用大语言模型（LLM）从直观判断转向有明确证据支持的可靠评估。为了平衡吞吐量、成本和可靠性，我们进一步引入了一种快慢推理方案，该方案将大规模快速筛选与对小子集的深入审查分离开来。以高熵合金（HEA）评估为案例研究，我们表明，在没有外部检索并仅依靠内部能力的情况下，小型开源LLM在准确性、结论一致性和证据辨别方面取得了显着的进步，接近基于规则的闭源LLM的性能。这些结果表明，专家规则可以系统地转化为可学习的偏好信号，从而为自主材料发现循环提供低成本且可部署的评估模块。