scMIR：用于单细胞光学显微镜图像表示的视觉语言基础模型

单细胞光学显微镜图像已成为表征细胞表型的重要数据源，但其复杂性和异质性给高通量自动化分析带来了挑战。现有的表示学习方法主要依赖于面向任务的建模，该建模受到特定数据集和预定义任务的限制，使得它们难以在不同的细胞类型、显微镜模式和实验条件下泛化。尽管近年来通用方法提高了图像表示的泛化能力，但它们对实验背景和生物背景信息的有限利用仍然对复杂表型分析提出了挑战。在这里，我们提出了 scMIR，一种用于单细胞光学显微镜图像表示的视觉语言基础模型。通过将自监督图像重建与文本引导的跨模态对齐协同结合，scMIR 可以在统一的表示空间中同时编码形态和生物语义信息。 scMIR 在 207,957 个图像文本对上进行了预训练，涵盖各种细胞类型、显微镜模式和扰动条件。 scMIR 优于现有的通用模型和面向任务的方法，使用 16 个基准数据集对各种复杂任务进行系统评估，包括细胞分类、聚类、表型推断和批量效应校正任务。此外，scMIR 在各种任务中表现出强大的泛化能力，而不需要特定于任务的 微调。凭借其独特的优势，我们预计 scMIR 可以通过支持各种下游分析任务来促进高通量表型分析工作流程的标准化和自动化。