扫描电子显微镜图像分析的专家混合基础模型

扫描电子显微镜 (SEM) 在现代材料科学中不可或缺，它可以在广泛的结构、化学和功能研究中实现高分辨率成像。然而，SEM 成像仍然受到特定任务模型和劳动密集型采集流程的限制，限制了其在不同应用中的可扩展性。在这里，我们介绍了第一个 SEM 图像基础模型，该模型在多仪器、多条件科学显微照片的大型语料库上进行了预训练，从而能够跨不同材料系统和成像条件进行泛化。利用自我监督的 Transformer 架构，我们的模型学习丰富且可转移的表示，这些表示可以进行微调或适应各种下游任务。作为一个引人注目的演示，我们重点关注散焦到聚焦图像转换——这是自动化显微镜管道中一个重要但尚未充分探索的挑战。我们的方法不仅可以在没有配对监督的情况下从散焦输入中恢复聚焦细节，而且在多个评估指标上都优于最先进的技术。这项工作为新型适应性 SEM 模型奠定了基础，通过将基础表征学习与现实世界的成像需求联系起来，加速材料的发现。