WASP：用于胎儿脑 MRI 超声学习的弱对齐时空对

摘要

磁共振成像 (MRI) 因其卓越的软组织对比度和解剖细节而被广泛认为是胎儿大脑分析的最佳传感器。然而，其高昂的成本和运营负担使其具有侵入性且难以大规模获得。相比之下，超声波（美国）便宜、安全并且可以定期获取，因此它产生了更大的数据集和不断发展的预训练模型生态系统。这种不对称性自然而然地提出了一个问题：我们能否教一个仅限美国的模型仅通过一组有限的示例来理解胎儿 MRI？标准配方训练是受试者配对 MRI-US 扫描的基础模型，但并不可行，因为没有公开可用的此类配对胎儿数据集。在本文中，我们通过弱对齐时空对（WASP）解决了这一差距，该框架将跨模态对应制定为由临床元数据（特别是胎龄（GA）和诊断平面）驱动的熵最佳传输问题，从而能够拟合轻量级对齐模块，将 MRI 表示提升到 US 潜空间，而不需要微调和骨干模型。根据经验，当模型在预训练期间看不到 MRI 时，WASP 会产生最大的增益（在 USFM 上，GA 估计误差从 21.9 天下降到 17.4 天，标准平面分类准确度从 61.9% 上升到 69.0%），同时为在两种模式上预训练的骨干模型提供较小的、依赖于骨干模型的改进（例如，BioMedParse GA 估计）误差从 6.5 天减少到 6.0 天，SAM-Med2d 平面准确度从 83.3% 减少到 88.1%）。代码可在 https://github.com/miccunifi/WASP. 获取

WASP：用于胎儿脑 MRI 超声学习的弱对齐时空对的原论文方法或结果图 — 图 1：WASP 的动机和概述。左图：现有的 MRI-US 对齐需要对同一受试者进行配对胎儿扫描，但此类数据尚未大规模公开。右图：WASP 通过两个阶段避免精确配对：第一阶段使用胎龄和诊断平面等常用元数据，从未配对的队列中构建熵最佳运输计划 ${P}$。第二阶段使用 ${P}$ 投影目标编码器空间，并在冻结源编码器的特征上训练轻量级对齐模块 $\mathcal{F}$。