用于光片荧光显微镜的多模态 3D 基础模型可实现少样本分割、分类和去模糊

光片荧光显微镜 (LSM) 可对生物样本进行高分辨率三维 (3D) 成像，为研究细胞组织、病理学和血管网络提供丰富的体积数据。然而，LSM 数据的大小、维度和注释负担使得监督深度学习方法成本高昂且难以扩展。此外，尽管有大量未注释的 LSM 体积，但由于计算挑战和体积表示学习的复杂性，这种模式的基础模型仍未得到充分探索。在这项工作中，我们引入了 LSM 数据的 3D 基础模型，该模型在涵盖多种生物体、染色剂和成像协议的大型 3D 图像集合上进行了预训练。我们通过联合优化掩模重建和图像文本对齐来学习可转移的体积表示。预训练的主干网极大地减少了注释负担，从而能够针对各种下游任务进行高效、少量的适应。我们在下游分割、分类和去模糊方面评估了这种方法。我们的结果表明，(1) 使用标准评估指标进行衡量时以及 (2) 由领域专家严格评估时，我们的结果显示了相对于基线的持续改进。这凸显了基础模型预训练在减少注释需求、同时提高不同 LSM 分析任务的性能方面的潜力。预训练模型权重以及预训练和微调代码已公开：https://github.com/AdinaScheinfeld/lsm_fm_public_repo.git。