论文
3D 医学视觉基础模型的拓扑驱动可转移性估计
Topology-Driven Transferability Estimation for 3D Medical Vision Foundation Models
摘要
医学视觉基础模型数量的不断增加凸显了有效模型选择的必要性。然而,主流选择方法依赖于详尽的 微调,这在计算上是昂贵的。大多数现有的可转移性估计(TE)指标主要是为图像级分类而设计的。它们无法保留空间关系和细粒度的边界细节,而这对于分割任务至关重要。此外,虽然图像级任务通常处理每个输入的单个特征向量,但 3D 医学成像中的密集预测任务需要针对密集注释进行体素评估。为了弥补这些差距,我们提出了一个 \textit{非参数,拓扑驱动} 框架,该框架通过最小生成树(MST)直接根据密集特征的稀疏 1-骨架图与语义标签之间的对齐来估计可转移性。我们将对齐解耦为两个互补的几何尺度:局部边界感知拓扑一致性(LBTC),用于评估边界可分离性,其中我们证明 MST 泄漏率可作为贝叶斯误差的有限样本下界;和全局表示拓扑散度 (GRTD) 来评估整体解剖布局。至关重要的是,我们正式证明了一种反直觉机制的合理性:尽管没有 微调,但随机初始化的分段解码器充当拓扑保留空间投影仪,减少了成对距离估计的方差并稳定了全局对齐评估。这些双重指标通过任务自适应门控机制融合,适应不同的临床复杂性。我们的拓扑框架在跨不同解剖任务的 114,000 个 3D 医学体积的大规模基准上进行评估,通过平均加权 Kendall(优于 0.36)实现了最先进的可转移性估计,同时将评估速度提高了 56 倍。