论文
NeuroSeg 遇见 DINOv3:通过 DINOv3 初始化将 2D 自监督视觉先验转移到 3D 神经元分割
NeuroSeg Meets DINOv3: Transferring 2D Self-Supervised Visual Priors to 3D Neuron Segmentation via DINOv3 Initialization
摘要
2D 视觉基础模型,例如 DINOv3(一种在大规模自然图像上训练的自监督模型),已经表现出强大的零样本泛化能力,可以捕获丰富的全局背景和细粒度的结构线索。然而,下游体积神经成像的类似 3D 基础模型仍然缺乏,这主要是由于 3D 图像采集的挑战和高质量注释的稀缺。为了解决这一差距,我们建议将 DINOv3 学习的 2D 视觉表示调整为 3D 生物医学分割模型,从而实现数据效率更高且形态忠实的神经元重建。具体来说,我们设计了一种基于膨胀的适应策略,将 2D 滤波器膨胀为 3D 算子,保留 DINOv3 的语义先验,同时适应 3D 神经元体积块。此外,我们引入了拓扑感知骨架损失,以明确强制基于图的神经元乔木重建的结构保真度。对四个神经元成像数据集(包括来自 BigNeuron 的两个数据集和两个公共数据集 NeuroFly 和 CWMBS)的广泛实验表明,与 SoTA 方法相比,重建精度得到了持续改进,整个结构平均值平均提高 2.9%,不同结构平均值提高 2.8%,不同结构百分比平均提高 3.8%。代码:https://github.com/yy0007/NeurINO。