论文

使用 DPLM-Evo 构建蛋白质生成进化机

Towards A Generative Protein Evolution Machine with DPLM-Evo

模型训练预训练

摘要

蛋白质是在生物物理和功能限制下逐渐进化而形成的。蛋白质语言模型从大规模序列中学习丰富的进化约束,并且基于离散扩散的蛋白质语言模型(例如 DPLM)对于理解和生成都有希望。然而,现有的 DPLM 通常依赖于掩模扩散,这与简单的生物直觉相矛盾:蛋白质通过累积编辑进化,而不是通过掩模出现。因此,这些框架缺乏替换和插入/删除 (indel) 操作的明确预训练目标,限制了优化式后期编辑和灵活的引导生成。为了解决这些限制,我们提出了 DPLM-Evo,这是一种进化离散扩散框架,可以明确预测去噪期间的替换、插入和删除操作。 DPLM-Evo 将上采样长度的潜在对齐空间与可变长度的观察序列空间解耦,这使得 indel 感知的生成变得易于处理。为了更好地使替换与真实的进化保持一致,我们进一步引入了上下文化的进化噪声内核,该内核可产生生物学信息、上下文相关的突变模式。在跨任务中,DPLM-Evo 提高了序列理解,并在单序列设置中在 ProteinGym 上实现了最先进的突变效应预测性能。它还可以实现可变长度的模拟进化,以及通过显式编辑轨迹对现有蛋白质进行后编辑/优化。