用于单细胞表示学习的原型引导后预训练

来自基因表达数据的单细胞表示学习（SCRL）提供了一种揭示细胞功能背后的复杂调控逻辑的方法。受自然语言建模中的 大语言模型 的启发，最近提出了几种单细胞预训练模型，将基因视为标记，将细胞视为句子。然而，这些模型从根本上受到细胞类型分布的长尾性质的限制，并且难以在基因表达数据的协变量变化下进行概括。虽然 微调 通常用于缓解这些问题，但我们观察到性能仍然有限。为了应对这一挑战，我们引入了 CellRefine，这是一种在单细胞基础模型的预训练阶段和 微调 阶段之间运行的预训练后方法。 CellRefine 使用多方面的目标，将标记基因集作为结构先验，以指导预训练后并细化细胞的潜在嵌入流形。在多个计算生物学任务中，实证结果表明 CellRefine 持续改善下游性能，收益高达 15%。