论文
OrganLens:CT 基础模型的器官特异性表征学习
OrganLens: Organ-Specific Representation Learning for CT Foundation Models
摘要
CT 检查可捕获多个器官,但许多生物医学问题涉及特定器官的异常、预后或纵向变化。这些问题需要在同一 CT 体积内对每个器官进行单独表示。现有的 CT 基础模型通常会生成单个体积级表示,而最近的解剖学感知方法要么对预先分离的器官体积进行编码,要么将图像明确地分解为器官标记组。前者可能会删除临床相关的周围环境,而后者在形成其特征之前不会在选定器官上调节共享编码器。我们引入 OrganLens 通过自我监督进行器官特定表征学习。器官身份以共享 CT 编码器为条件,而器官特定的 蒸馏 和解剖掩模监督形状特征用于解剖加权池化为器官特定的表示。推断时,共享模型会生成 11 个器官特定表示,而无需外部分割掩模。我们在不同的收购和下游评估中通过 CT-RATE、RAD-ChestCT、INSPECT 和 NLST 评估 OrganLens。相对于 CT 预训练的 DINOv2,心脏表示将 CT-RATE 心脏肥大 AUROC 从 0.910 提高到 0.953,而肺部表示将 NLST 肺癌死亡率的 Harrell C 指数提高了 14.2%。对于文本到图像和图像到文本检索,全局表示分别达到 INSPECT Recall@10 的 33.09\% 和 32.04\%。在器官相关任务中,解剖学匹配的表示提供了更强的任务相关信号,而全局表示保留了广泛的实用性。 OrganLens 提供了一种可扩展的方法,通过共享编码器进行器官特定 CT 表示学习。更广泛地说,它为医学研究界提供了一个可重复使用的框架,用于跨队列和临床终点研究器官特异性疾病。