用于蛋白质表示学习的结构感知掩蔽

掩蔽语言模型 (MLM) 是训练蛋白质语言模型的标准目标，通常通过以固定速率（例如 15%）随机掩蔽各个残基来实现。这种做法隐含地假设所有序列位置对表示学习的贡献相同。然而，在下游适应度预测任务中，蛋白质序列受三维结构依赖性和长程残基接触的控制，这些接触会引起残基之间强烈的非局部耦合。我们引入了 Bucket Masking，这是一种结构感知的掩蔽策略，它根据残基在三维空间中的接近程度来选择残基组，在训练期间优先掩蔽结构耦合区域。通过调节残基接触上的掩蔽分布，Bucket Masking 将学习目标转向建模对蛋白质功能至关重要的远程相互作用。在四个下游蛋白质适应性预测任务中，Bucket Masking 比标准随机掩蔽提高了 14%，擅长预测高阶突变相互作用。通过受控烧蚀，我们表明这些改进来自掩模放置而不是跨度大小，将掩模建立为位置感应偏差。