3D 医学成像的知识转移缩放定律

视觉基础模型越来越多地从 2D 转向体积领域，例如 3D 医学成像，其中跨不同成像模式（即 CT、MRI 和 PET）的统一预训练可以为不同的临床任务提供基础模型。然而，训练此类模型需要混合异构成像域，而当前的混合策略在很大程度上仍然是启发式的。在这项工作中，我们观察到不同的医学成像领域在预训练期间以不同的速率扩展，并且领域之间的知识转移是强烈不对称的：一个领域的训练可以显着改善另一个领域，但反之则可能要弱得多。有趣的是，MAE 重建损失和跨域转移都遵循可预测的幂律趋势和特定领域的行为。受这些发现的启发，我们将数据分配表述为缩放律优化问题。衍生的分配揭示了一种可解释的枢纽和岛屿结构：高度可转移的领域作为枢纽出现，使许多其他领域受益并值得战略分配，而孤立的领域则充当需要直接投资的岛屿。根据经验，转移感知分配的性能优于数据比例抽样高达 58%，并且可以很好地推广到未见预算，r=0.989。对疾病分类和器官/病变分割的下游验证进一步证实，派生的传输感知混合物为临床 3D 医学成像任务提供了更强的预训练表示。