论文
通过内存高效等变体 Transformer 进行可扩展的肽设计
Scalable Peptide Design via Memory-Efficient Equivariant Transformer
摘要
目标特异性肽设计需要在全原子几何约束下进行序列和结构协同设计。潜在生成框架通过将细粒度原子结构压缩为块级潜在表示并在紧凑的潜在空间中执行条件生成,为该问题提供了有效的途径。然而,此类系统的可扩展性在很大程度上取决于其编码、解码和降噪组件中使用的几何主干。我们引入 MEET(内存高效等变 Transformer),这是一种用于可扩展原子肽建模的 E(3) 等变主干。 MEET 维护耦合的不变标量和等变向量特征流,同时围绕内存高效注意力重新制定几何计算。它通过全局坐标聚合初始化向量特征,通过增强查询和关键点积合并成对距离,并通过稀疏键适应注入共价键信息。 MEET 集成到用于全原子肽生成的 VAE 和潜在扩散管道中,实现了原子计数的线性内存扩展,并比现有的肽设计方法提高了生成质量。对大规模 AFDB 派生数据集的实验进一步表明,所提出的主干支持系统模型和数据扩展,从而带来更好的结合亲和力、物理有效性和样本多样性。