病毒蛋白揭示蛋白质语言模型的几何结构

蛋白质语言模型是在高度不平衡的数据集上进行训练的，这就提出了它们如何表示代表性不足的生物序列的问题。使用病毒蛋白作为 ESM 模型家族的案例研究，我们确定了嵌入空间中的主导原生轴，与掩蔽重建困惑相一致，该轴对从良好建模的细胞蛋白到病毒蛋白到改组和随机序列的序列进行排序。不同病毒家族的缩放比例不均匀地收缩该轴。尽管如此，蛋白质语言模型嵌入保留了病毒特异性信号：病毒蛋白质在零样本困惑和浅序列特征之外仍然保持线性可分离。总之，这些结果表明 pLM 表示是由原生性的一般概念构建的，同时保留了特定于不同生物群体的信息。