冷冻脑 MRI 基础模型是现场指纹

冷冻基础模型 (FM) 嵌入越来越多地用作现成的脑 MRI 表示，假设它们捕获了解剖结构。我们审核了它们实际编码的内容，发现采集位点是表示的一个很大的内在组成部分。在两个独立队列（ABIDE-I、ABIDE-II）、三个冻结 3D 编码器（大脑预训练、CT 预训练和随机初始化）和每个网络深度中，位点在深层以大约 0.9 的平衡精度进行线性解码，超过了每一层每个临床或人口变量（性别、年龄、自闭症诊断）的可解码性。效果是内在的而不是学习的：随机初始化的编码器在两个队列和三个架构系列（Swin、ViT、ResNet）上已经是~0.9的位点分类器，并且位点可以直接从没有编码器的原始下采样图像中以~0.95的速度解码，因此指纹反映了任何编码器保留的底层图像统计数据，而不是预训练的产物。残差测量的群体协变量使位点可解码性基本不变，表明是获取效应而不是群体驱动效应。非线性探头与线性探头相匹配，因此可以完全线性地访问指纹。站点子空间可通过迭代零空间投影或 ComBat（站点可解码性 0.94 -> 0.07/0.00）事后移除，并且是共享或联合嵌入的站点属性问题；但对于密集分割，这种删除不是免费的，因为位点和解剖结构占据了纠缠的线性子空间（匹配等级随机方向投影是骰子中性的，而删除位点子空间是破坏性的）。我们建议对冷冻脑 MRI FM 的使用进行现场审核，并发布开放审核工具包。