论文

单细胞基础模型中中间层编码最优生物表征

Intermediate Layers Encode Optimal Biological Representations in Single-Cell Foundation Models

模型评测模型行为与机制分析

摘要

当前的单细胞基础模型基准普遍提取最后一层嵌入,默认其代表最优特征空间。我们在轨迹推断和扰动响应预测两类任务上,系统评估了scFoundation(1亿参数)和Tahoe-X1(13亿参数)的逐层表征。我们的分析表明,最优层依赖于任务(轨迹推断在60%深度达到峰值,比最终层高31%),也依赖于上下文(扰动预测的最优层在T细胞激活状态间移动0-96%)。值得注意的是,在静息细胞中第一层嵌入优于所有更深层,这挑战了关于层级特征抽象的假设。这些发现表明,从“哪里”提取特征与模型学到“什么”同样重要,必须针对生物任务和细胞上下文进行系统的层评估,而不是默认使用最后一层嵌入。