SimpleDesign：蛋白质序列和结构协同设计的联合模型

蛋白质是生物过程的基础，其功能由氨基酸序列和三维结构之间复杂的相互作用决定。开发能够理解这种本质上的多模态关系的生成模型对于药物发现和蛋白质工程等领域至关重要。现有模型通常依赖于多阶段训练过程，其中将数据标记为潜在表示的自动编码器在第一阶段进行训练。其次，在自动编码器的潜在表示上训练生成模型，即潜在空间中的生成建模。我们假设这种多阶段训练对于获得高性能协同设计模型来说不是必需的，因此提出了 SimpleDesign，一种直接在数据空间中训练的有效多模式蛋白质设计模型。 SimpleDesign 利用单阶段端到端目标，该目标结合了序列的离散交叉熵和结构的回归目标。为了有效地对序列和结构模态的差异进行建模，我们开发了一种 Mixture-of-Transformer 架构，该架构允许特定于模态的处理，同时保持对两种模态的全局自注意力。我们在超过 2M 的序列-结构对上训练 SimpleDesign，在协同设计和无条件序列/结构生成基准测试中实现了强大的性能。