CoralBay：自监督 CT 基础模型

自监督学习已在 2D 自然图像上实现大规模 预训练，生成可跨任务有效传输的通用视觉表示。然而，许多医学成像模式（例如 CT 扫描）本质上是三维的，在结构和语义上与自然图像有根本的不同。体积模态捕获空间连续性、器官解剖学和基于强度的组织特性（例如，Hounsfield 单位），而 2D 预训练 无法充分建模这些特性。为了弥补这一差距，我们引入了 CoralBay，这是一个自 蒸馏 框架，它通过使用分层 3D Swin 主干并将自 蒸馏 应用于连接的多尺度特征来扩展 DINO，从而实现对编码全局语义和细粒度局部结构的丰富空间表示进行数据高效的自监督学习。因此，CoralBay 可以有效地转移到广泛的下游放射学任务，在不同的解剖目标上表现出强大且一致的性能。此外，我们还通过引入一个公共的、可重复的 3D 放射学排行榜来为开源 \eva 框架做出贡献，该排行榜统一了多个数据集并建立了评估体积表示学习方法的标准化基准。