论文

Zatom-2:原子数据的多任务预训练,用于跨领域的生成建模

Zatom-2: Multitask Pretraining on Atomistic Data for Generative Modeling across Domains

模型训练应用与实践预训练科学研究

摘要

统一原子建模有潜力通过桥接数据丰富的化学领域和数据稀缺的生物领域来加速化学、材料科学和生物学的发现。然而,现有的原子建模生成方法仍然高度专业化于科学学科(化学与生物学),或者没有利用大量有机(分子)和无机(材料)数据进行通用预训练。为此,我们引入了 Zatom-2,这是一种原子生成模型,对来自 OMol25 和 OMat24 电子结构数据集的约 500 万个结构进行了预训练。 Zatom-2 采用多尺度 Transformer 架构以及条件流匹配,支持力调节和基础预训练任务,例如生成、结构预测以及分子和材料能量和力的预测。根据经验,Zatom-2 比 Zatom-1 实现了更好的分子分布保真度,并在现有分子和材料生成基准上实现了强大的性能。 Zatom-2 展示了以下能力 控制低力和高力状态下的样本生成,并通过联合生成预测预训练和迁移学习增强低数据环境中的蛋白质生成,将长度外推设置中的蛋白质主链可设计性从没有预训练的 67.8% 提高到对 2,000 个蛋白质结构域进行微调后的 74.8%。