更简单：用于结构化照明显微镜的 H&E-Informed 表示学习

结构照明显微镜 (SIM) 能够对新鲜组织进行快速、高对比度的光学切片，无需染色或物理切片，使其有望用于术中和护理点诊断。最近数字病理学的基础和大规模自我监督模型在苏木精和曙红 (H&E) 和免疫组织化学 (IHC) 等基于切片的模式上表现出了强大的性能。然而，这些方法主要针对薄组织切片进行训练，并未明确解决 SIM 等厚组织荧光模式。当直接转移到 SIM 时，性能受到显着模态转变的限制，并且简单的 微调 经常过度拟合特定模态的外观，而不是底层的组织学结构。我们引入了 SIMPLER（结构化照明显微镜驱动的嵌入表示学习），这是一种跨模态自监督预训练框架，利用 H&E 作为语义锚来学习可重用的 SIM 表示。 H&E 编码丰富的细胞和腺体结构，与已建立的临床注释一致，而 SIM 提供新鲜组织的快速、无损成像。在预训练期间，SIM 和 H&E 通过对抗性、对比性和基于重建的目标逐步对齐，鼓励 SIM 嵌入内化 H&E 的组织学结构，而不破坏模态特定的特征。单个预训练的 SIMPLER 编码器可跨多个下游任务进行传输，包括多实例学习和形态聚类，其性能始终优于从头开始训练或仅 H&E 预训练的 SIM 模型。这些结果表明，组织学引导的跨模式预训练可产生适合广泛下游重用的具备生物学依据的 SIM 嵌入。