通过流形恢复混合增强蛋白质表征学习

数据增强（DA）已被证明是通过生成额外的训练样本来改进蛋白质表示学习（PRL）的有效手段。尽管主流的基于扰动和采样的增强方法可以产生包含足够变化的数据，但它们存在破坏蛋白质结构和功能的风险。一些精心设计的蛋白质同源建模工具可以生成构象，但会减少结构多样性。上述困境给我们带来了一个问题：我们能否恢复DA操作造成的破坏结构，提供既具有原始结构又具有多样化变化的数据？在这项工作中，我们首先分析并实证揭示了现有DA方法的结构缺陷和性能下降问题。基于这些发现，我们提出了一种简单而有效的 DA 方法，即流形恢复混合 (MRM)，用于蛋白质表示学习。具体来说，受流形混合的启发，我们混合原始和增强蛋白质数据的隐藏表示来生成新样本，这些样本可以恢复 DA 中丢失的结构信息，同时引入不同的变化。此外，我们开发了一个样本难度调度程序，可以调整混合中的 beta 分布，以便在训练期间为模型提供逐渐具有挑战性的混合样本，从而提高最终性能。对各种 PRL 主干和下游任务的综合实验证明了我们方法的有效性和泛化性。完整的代码和权重将在接受后发布。我们在 https://github.com/KingGugu/MRM 提供了一个实现。