迈向知识增强的单细胞基础模型

单细胞基础模型（scFMs）日益依赖大规模转录组预训练，但扩展预训练数据带来的收益递减，同时显著增加计算成本。我们的数据规模分析表明，引入生物学知识，包括细胞层级的文本注释和基因层级的调控信息，提供了比单纯增加数据量更有效的扩展维度。受此启发，我们提出了scKITE，一种简单而有效的单细胞基础模型，通过轻量级辅助解码器将细胞注释和基因调控监督整合到共享的转录组Transformer编码器中。这些解码器仅在预训练阶段使用，之后被丢弃，最终得到一个富含生物学知识的通用编码器，用于下游任务。在仅179,067个预训练样本（即此前强模型所用样本的不到0.5%）的情况下，scKITE在多种下游任务中均优于这些模型，凸显了知识增强预训练作为构建具有生物学依据单细胞基础模型的有前景范式。