论文

预训练不确定性估计器为原子间势提供跨域可靠性信号

Towards Out-of-Distribution Uncertainty Quantification for Machine-Learned Interatomic Potentials via Pre-Training

模型评测鲁棒性、公平性与可信度评测

摘要

具有信息价值的不确定性量化(UQ)对于机器学习原子间势(MLIP)的实际部署至关重要,因为它可以深入了解其在化学空间中的可靠性。尽管最近提出了许多针对 MLIP 的事后不确定性估计方法,但大多数方法都是在数据稀缺的设置下进行训练的,这限制了它们对狭窄感兴趣领域的适用性。受通用基础型 MLIP 出现的启发,我们提出在大型、多样化的数据集上预训练不确定性估计器,以实现更广泛的适用性。我们在大型材料科学数据集上预训练了几个 UQ 模型,以量化不同 MLIP 的不确定性,并评估它们在分布内和域外 (OOD) 吸附能预测方面的性能。我们发现,预先训练的不确定性估计器可以跨多个数据集提供可行的零样本不确定性估计,而即使在最具挑战性的数据集上,微调也能一致地产生预测不确定性和预测误差之间的正相关性。这些结果为 面向 MLIP 的通用基础型 UQ 模型奠定了基础,通过为用户提供有关模型可靠性和适用性的先验信息,最终促进其在实际环境中的部署。

预训练不确定性估计器为原子间势提供跨域可靠性信号:论文配图
图 1:MLIP 不确定性量化方法的组成部分概述。这种方法使用 MLIP 的潜在空间表示作为输入。 UQ 使用了不同的方法,在这项工作中使用了距离、MVE 和 SE 方法。这些模型使用训练数据进行训练——虽然之前的工作主要集中在小型的、特定领域的数据集(平均取自之前的出版物[44,10,8,26,49,27,9]),但这项工作使用预训练数据集来实现域外不确定性量化。