论文

RNA 结构提取:可微双随机归一化对齐训练与解码

Differentiable RNA Secondary Structure Extraction for Deep Learning

模型推理解码与生成控制

摘要

最近提出了许多用于 RNA 二级结构预测的深度学习方法。它们通常输出一个权重矩阵 $W$,其中 $W_{ij}$ 是碱基$i$与碱基$j$ 配对的任意权重。将该矩阵转换为预测的二级结构或碱基配对概率矩阵通常涉及临时且有问题的下游算法。尽管这个转换步骤(我们称之为结构提取)很重要,但它在文献中受到的关注相对较少。在这项工作中,我们分析了训练和提取方法之间的一致性如何影响预测性能。为此,我们比较了四种提取算法:类似 Nussinov 的动态规划方法、最大权重图匹配以及 SPOT-RNA 和 RiNALMo 使用的贪婪提取算法。这些是根据预训练的 RiNALMo 模型和本文中训练的三个玩具模型的输出进行评估的:可微分的类 Nussinov 模型、二元交叉熵 (BCE) 基线以及在训练期间结合新型对称双随机矩阵 (SDSM) 归一化算法的模型,该算法允许直接输出碱基配对概率矩阵,无需单独的提取步骤。该 SDSM 归一化算法是可微分的,可以在训练和评估期间内联添加到任何深度学习模型中。我们发现每种提取方法的性能很大程度上取决于相应模型的训练方式。考虑到玩具模型本身,SDSM 模型显示出最强的整体性能:它在所有四种提取算法下都优于 BCE 基线,并产生最接近真实情况的预提取输出。这些结果表明 SDSM 标准化是传统结构提取的一种易于处理的替代方案。

代表性RNA序列的目标结构与不同提取方法预测矩阵对比。
图1(图注摘要):代表性RNA序列的目标结构与不同提取方法预测矩阵对比。