VoxCor：无需训练 多模态体素对应的体积特征

跨模式 3D 医学图像分析需要体素表示，在成像对比度、扫描仪和采集协议中保持解剖学上的一致性。最近的工作表明，冻结的 2D Vision Transformer (ViT) 基础模型可以支持此类表示，但典型的管道沿单个解剖轴提取特征，并一次在配准解算器内针对一个图像对调整这些特征，从而未使用互补的观看方向，并生成不会转移到新体积的表示。我们引入了 VoxCor，一种 无需训练 拟合变换方法，用于从冻结的 2D ViT 基础模型中重复使用体积特征表示。在离线拟合阶段，VoxCor 将三平面 ViT 推理与紧凑的封闭式加权偏最小二乘 (WPLS) 投影相结合，该投影使用拟合时间体素对应关系来选择三平面特征空间中模态稳定的解剖方向。在变换时，仅通过三平面 ViT 推理和线性投影来映射新体积，无需 微调 或配准。然后可以通过最近邻搜索直接查询体素对应关系。我们使用可变形配准、体素 k 最近邻分割和分割中心地标定位来评估受试者内腹部 MR--CT 和受试者间 HCP T2w--T1w 任务上的 VoxCor。 VoxCor 改进了最难的跨主题、跨模态传输设置，降低了密集对应传输的编码器灵敏度，并产生了与手工描述符和学习的 3D 特征相媲美的配准性能。这将 VoxCor 定位为可重用的特征层，用于除成对配准之外的下游多模态分析。代码、配置文件和实现细节可在 GitHub 上公开获取，网址为 \href{https://github.com/guneytombak/VoxCor}{guneytombak/VoxCor}。