用于可解释医学图像表示学习的稀疏自动编码器

视觉基础模型 (FM) 在医学成像领域实现了最先进的性能。然而，它们将信息编码为临床医生无法询问或验证的抽象潜在表征。本研究的目标是研究稀疏自动编码器 (SAE)，以用人类可解释的稀疏特征替换不透明的 FM 图像表示。我们使用 TotalSegmentator 数据集中的 909,873 个 CT 和 MRI 2D 图像切片来训练来自 BiomedParse（生物医学）和 DINOv3（通用）嵌入的 SAE。我们发现学习到的稀疏特征：（a）以高保真度重建原始嵌入（R2高达0.941），并仅使用10个特征（降维99.4％）恢复高达87.8％的下游性能，（b）在图像检索任务中保留语义保真度，（c）对应于可以使用基于大语言模型（LLM）的语言表达的特定概念自动解释。 (d) 在零样本语言驱动的图像检索中架起临床语言和抽象潜在表征的桥梁。我们的工作表明，SAE 是通向可解释、概念驱动的医学视觉系统的一条有前途的途径。代码存储库：https://github.com/pwesp/sail。