论文

通过稀疏性促进 微调 对等变材料基础模型进行鲁棒且可解释的适应

Robust and Interpretable Adaptation of Equivariant Materials Foundation Models via Sparsity-promoting Fine-tuning

模型训练参数高效训练

摘要

预先训练的材料基础模型或机器学习原子间势,利用一般物理化学知识来有效地近似势能表面。然而,由于物理化学多样性以及实际计算设置与构建 预训练 数据所使用的设置之间的不匹配,它们通常需要特定领域的校准。为了解决这个问题,我们提出了一种稀疏性促进 微调 方法,该方法通过利用 E(3) 等变材料基础模型的结构特性来选择性地更新模型参数。在跨分子和晶体基准的能量和力预测任务上,我们的方法匹配或超过完整的 微调 和等变低秩适应,同时仅更新 $\sim$3~\% 的参数,在某些情况下仅更新 $\sim$0.5~\%。除了能量和力校准之外,我们还通过将我们的方法应用于磁矩预测和磁感知总能量建模来进一步证明任务的通用性。最后,稀疏模式的分析揭示了物理上可解释的特征,例如过渡金属系统中增强的 $d$ 轨道贡献。总体而言,我们的结果将促进稀疏性的 微调 确立为一种灵活且可解释的方法,用于等变材料基础模型的领域专业化。