论文

EXACT:用于分析 3D 胸部 CT 的可解释的异常感知视觉基础模型

EXACT: an explainable anomaly-aware vision foundation model for analysis of 3D chest CT

模型训练预训练

摘要

胸部计算机断层扫描 (CT) 是胸部疾病检测和管理的核心,但体积成像的规模和复杂性不断增长,日益超出仅通过扫描级预测所能解决的问题。临床上有用的 CT 人工智能不仅必须识别整个体积的疾病,还要定位异常并提供可解释的视觉证据。现有的视觉语言基础模型通常将扫描和报告压缩为全局图像文本表示,限制了它们保存空间证据和支持临床有意义的解释的能力。在这里,我们开发了 EXACT,这是一种用于三维胸部 CT 的可解释的异常感知基础模型,可以从配对的临床扫描和放射学报告中学习空间解析的表示。 EXACT 使用解剖感知弱监督、联合学习器官分割和多实例异常定位对 25,692 个 CT 报告对进行预训练,无需手动体素级注释。由此产生的器官特异性异常感知图为每个体素分配一个仅限于其相应解剖结构的疾病特异性异常评分,共同编码病变范围和器官水平背景。在回顾性多国和多中心评估中,EXACT 在临床相关 CT 任务中显示出广泛且一致的改进,涵盖多种疾病诊断、零样本异常定位、下游适应和基于视觉的报告生成,优于现有的三维医学基础模型。通过将常规临床 CT 扫描和自由文本报告转化为可解释的体素级表示,EXACT 为值得信赖的体积医学 AI 建立了可扩展的范例。