论文
GFFMERGE:图神经力场及其他的高效合并
GFFMERGE: Efficient Merging of Graph Neural Force Fields and Beyond
摘要
图神经网络 (GNN) 彻底改变了原子模拟的神经力场,以较低的成本实现了近量子精度,但使这些模型适应新的化学系统需要对基础模型进行昂贵的重新训练。受到视觉和语言处理中模型合并的启发,我们引入了 GFFMERGE,这是 GNN 中封闭式模型合并的第一个原则框架。我们利用消息传递层的线性结构,并将合并表示为具有解析解的凸嵌入对齐问题。通过对 GNN 模型合并的首次系统基准测试,我们表明,为视觉和语言设计的现有方法在力场回归上灾难性地失败,而 GFFMERGE 恢复了接近黄金标准联合训练的性能。在分子(MD17、MD22)、固态(LiPS20)和大规模图形基准测试中,GFFMERGE 和 GNNMERGE(其通用 GNN 对应物)实现了 5-27$\times$ 加速,同时实现了专用模型的模块化组合。值得注意的是,我们的封闭式解决方案本身就优于 微调 之前的所有基线方法,并提供卓越的初始化,以实现更快、数据高效的收敛。