ProtLingo：通过条件记忆与专家路由实现高效的蛋白质语言建模

蛋白质具有多种细胞功能，甚至单个氨基酸取代也可以改变稳定性、活性或分子相互作用。蛋白质语言模型 (PLM) 提供了一种可扩展的方法，用于对未标记序列的此类序列-功能关系进行建模，但增加密集 Transformer 主干的大小通常会带来大量的计算成本，而无法持续改进突变敏感的预测。我们引入了 ProtLingo，这是一种高效的 PLM 框架，它通过条件本地内存和稀疏专家路由增强了预训练的单序列主干。 ProtLingo 将上下文残差表示映射到特定于路线的离散代码，将居中的本地窗口组合成潜在的 $N$-gram 地址，并检索与重复出现的本地序列上下文相关的可重用残差信号。同时，选定的前馈块被升级到具有共享和路由专家的稀疏专家混合层，从而在仅激活参数子集的同时实现残差相关计算。蛋白质适应度预测、FLIP 基准和监督接触预测的实验表明，ProtLingo 在 150M 规模的主干上实现了具有竞争力的性能，包括突变效应预测的强大参数效率和保留的长范围结构表示。