EyeMVP：通过配对 CFP-OCT 预训练进行 OCT 知情眼底表示学习

彩色眼底摄影（CFP）是大规模视网膜筛查的支柱，但其诊断能力因缺乏深度分辨结构而受到限制，而光学相干断层扫描（OCT）提供的深度分辨结构却在人群规模上不太容易获得。我们提出了 EyeMVP，一种跨模态视网膜基础模型，它使用配对的 CFP-OCT 预训练来学习 OCT 信息的 CFP 表示，同时在推理时仅需要 CFP。 EyeMVP 对来自 8 家医院的 112,642 名患者的 674,893组同眼同日CFP—OCT三元组 进行了预训练，使用跨模态掩模重建来丰富 CFP 特征和 OCT 相关监督，并将源约束交叉注意力与 CFP 衍生的结构掩模相结合，以适应正面 CFP 和横截面 OCT 的非对齐几何形状。在涵盖分类和分割的 15 个数据集级设置中，在全数据和少样本模式下，EyeMVP 的表现与代表性视网膜基础模型相当或更好，在黄斑和视神经任务上具有一致的增益；对于黄斑水肿，其 AUROC 为 0.923；对于近视黄斑分裂，其 AUROC 为 0.867，这两种情况在 CFP 中很难解决。在一项探索性读者研究中，EyeMVP 在黄斑水肿方面超过了初级和中级眼科医生，但没有超过高级眼科医生，同时在近视黄斑分裂方面超过了所有组。这些结果表明，跨模式重建可以通过 OCT 相关监督来丰富 CFP 表征，为更强大的基于 CFP 的筛查提供实用途径。