BioM-JEPA：单细胞中图连接基因块的联合嵌入预测

单细胞转录组是对协调生物程序的稀疏观察，但大多数自我监督模型通过重建单个基因来学习。在这里，我们提出了 BioM-JEPA，一种联合嵌入预测架构，它预测由蛋白质关联和语料库衍生的共表达证据定义的图连接基因块的聚合表示。学生网络从细胞中的剩余基因推断每个目标块表示，而缓慢更新的教师从完整观察到的基因集中提供相应的目标。根据所报告的提取程序，与词元预测、随机块和重建对照相比，块级预测产生的嵌入具有更高的有效排名，并且与测试诊断中检测到的基因深度的关联性更弱。在 CellBench 任务中，冷冻 BioM-JEPA 嵌入保留了表达、通路和邻域信息，并在评估的模型中实现了最低的总体扰动响应误差。代表性诊断也与规范的胰腺程序和遗传扰动之间的组成关系一致。线性注意力避免构建二次基因的注意力矩阵；在批量大小为 8 的匹配单周期 hPancreas 实验中，BioM-JEPA 提供的 微调 吞吐量比 scFoundation 高 5.75 倍，保留嵌入吞吐量高 3.76 倍。总之，这些结果支持图连接的基因块作为单细胞生物学中 JEPA 式表示学习的有用预测单元。