论文

AEGIS:用于乳腺 X 线摄影的多任务联合嵌入预测架构

AEGIS: A Multi-Task Joint-Embedding Predictive Architecture for Mammography

模型训练预训练

摘要

我们提出了 Aegis,一种用于乳腺癌检测和乳房 X 线摄影密度评估的联合嵌入预测架构。我们使用自监督联合嵌入预测架构 (JEPA) 预训练 在来自 14 个临床中心的 71,103 项研究中训练了三种 Vision Transformer 变体(小/基础/大),然后使用渐进分辨率缩放至 2048x1536 的监督 微调。在精心策划的 785 个研究测试集上,我们最大的模型在乳腺癌分类方面的受试者工作特征曲线 (AUC) 下面积 (AUC) 为 0.949,在最佳操作点具有 93% 的敏感性和 75% 的特异性。将我们的模型与美国食品和药物管理局批准的基线相结合的集成进一步将区分度提高到 0.952 AUC。对于乳腺密度分类,该模型的二元(密集与非密集)分类达到 0.953 AUC,在四个乳腺成像报告和数据系统 (BI-RADS) 类别中达到 62.6% 的准确率,98.8% 的相邻准确率与报告的人类阅读器间一致性相当。对公共 VinDr-Mammo 数据集的外部验证提供了不同参考标准下跨群体转移的证据,最大模型在零样本设置下的分类达到 0.871 AUC。