论文

DINO-MVR:冷冻 DINOv3 的多视图读数,用于高效注释的医疗分割

DINO-MVR: Multi-View Readout of Frozen DINOv3 for Annotation-Efficient Medical Segmentation

模型训练参数高效训练

摘要

使基础模型适应医学分割通常需要主干 微调 或高容量特定于任务的解码器,当注释稀缺时,这两种解码器都很难可靠地适应。我们表明,冻结的 DINOv3 特征已经包含用于医学分割的有用结构和边界线索,并且主要瓶颈在于如何读出这些特征。我们提出了 DINO-MVR,一种用于注释高效的医学分割的多视图读出框架。 DINO-MVR 仅根据冻结 DINOv3 主干的最后三个 Transformer 块的特征训练轻量级 MLP 探针,而不更新主干本身。在推理时,每个输入都通过互补分辨率和测试时间增强来解释,其概率图通过熵加权融合进行组合,并通过简单的空间正则化进行细化。对于体积输入,高斯 z 轴平滑进一步提高了切片间的一致性。在内窥镜、皮肤镜和 MRI 基准的固定评估协议下,DINO-MVR 实现了强大的只读性能,包括 Kvasir-SEG 上的 0.895 Dice、ISIC 2018 上的 0.897 Dice 和 BraTS FLAIR 全肿瘤分割上的 0.908 Dice。仅使用 5 名带注释的 BraTS 患者,它就恢复了 40 名患者 BraTS 参考运行所获得的性能的 98.4%。这些结果表明,冷冻的自监督视觉主干与有效的多视图读出相结合可以支持准确的医学分割。