RIBOSPAN：用于多功能 RNA 建模的长上下文 RNA 基础模型

全长 RNA，特别是信使 RNA，通常超过用于预训练现有 RNA 基础模型的上下文长度，从而限制了单核苷酸分辨率的完整转录本建模。我们推出了 RIBOSPAN，这是一个具有 16.1 亿参数的双向 RNA 基础模型，经过原生预训练，上下文长度高达 10,240 nt。 RIBOSPAN 结合了密集双向自注意力、单核苷酸标记化和注意力隔离序列包装，以实现完整长 RNA 的高分辨率建模。原生 10K 预训练保留了 10,240 个标记的强大重建，并且在受控的长上下文基准中，保持了强大的上下文响应性和上下文特定的表示分离，同时保持扰动引起的变化高度本地化。推理时 YaRN 缩放恢复了直接短上下文外推所丢失的大部分上下文组织，但导致了更大的远端表示扩散。冷冻 RNA 类型评估表明，RIBOSPAN 可以学习最先进的 RNA 表示，在长 RNA 上具有特别明显的优势。在下游生物基准中，RIBOSPAN 成为最强大的仅编码器 RNA 基础模型，在全转录本生物特性预测和零样本突变适应度建模方面实现了最先进的性能。基于相同的主干，我们开发了一个多维条件离散扩散框架，用于全长 mRNA 生成和重新设计，包括用于蛋白质保存 CDS 优化的同义密码子扩散。 RIBOSPAN 共同为可转移 RNA 表示学习、生物预测和全转录 mRNA 设计建立了强大的长上下文基础。