原子语言模型理解和生成材料

原子结构和自然语言长期以来都是分开建模的，语言模型要么调用原子模型作为工具，要么对丢弃原子信息的有损文本编码进行微调。我们引入原子语言模型（ALM）来追求原生多模态，其中单一语言主干理解原子结构，从自然语言生成材料，并按照文本指示优化晶体结构。通过纯粹的连续投影仪和分阶段训练来统一预训练的原子编码器 大语言模型 和去噪扩散模型，ALM 在晶体结构预测和从头生成方面取得了最先进的结果。 ALM 由连续桥实现，该桥将语言模型嵌入直接映射到原子扩散的转向空间中，并得到 Text-to-Crystal Feynman-Kac (T2C-FK) 的协助，T2C-FK 是一种基于粒子的采样器，可对部分去噪轨迹进行评分，以在推理时强制执行化学计量目标。为了评估 ALM 根据自然语言提示和 3D 原子坐标输入优化和生成材料的能力，我们引入了 ALM Bench，它是文本条件晶体生成和优化的第一个基准。代码、训练数据和模型权重即将发布。