DALE-CT：深度感知 2D 切片编码器学习胸部 CT 的解剖世界模型

胸部 CT 是医学中容量最大的成像检查之一，但专家体素级注释稀缺且昂贵，这促使编码器直接从未标记的扫描中学习。我们推出了 DALE-CT，这是一个基于 2D 切片的 Vision Transformer 系列，使用无启发式 LeJEPA 目标从头开始进行胸部 CT 训练。我们引入了深度感知板采样，它从物理 $z$ 轴板而不是单个切片中绘制自监督视图，隐式地要求 2D 编码器表示相邻切片之间的解剖结构如何变化。冻结的表示将每次扫描追踪为平滑的解剖轨迹，在没有标签的情况下恢复头尾切片顺序，并根据切片包含的解剖结构而不是仅根据位置来区分切片。这种解剖世界模型的出现没有任何 3D 或位置监督，并且在孤立的切片上训练的其他相同的编码器永远不会开发它。在此基础上，我们将密集的辅助监督引入到预训练目标中，使用解剖和异常掩模来监督补丁和切片词元以及自监督损失，并将所得变体与在 CT-RATE 上持续预训练的 DINOv2 基线进行比较。在同一协议下评估的九个公共和内部模型中，DALE-CT-2S 是域内最强的 2D 模型，在 CT-RATE 上达到 0.825 Macro AUROC，在 COLIPRI-CRM 的 0.024 以内，并且没有任何文本监督。随后，我们将无监督配置扩展到 $\sim$287k 扫描多源池，据我们所知，这是报道的最大的胸部 CT 预训练语料库。由此产生的 DALE-CT-0-L 发布了最佳的 2D 外部传输点估计，我们将其作为推荐的骨干网发布，包含完整的模型系列、训练代码和评估管道。