论文
MedConcept：医学 VLM 中可解释性的无监督概念发现
MedConcept: Unsupervised Concept Discovery for Interpretability in Medical VLMs
摘要
虽然医学视觉语言模型 (VLM) 在肿瘤或器官分割和诊断预测等任务上取得了出色的性能，但其不透明的潜在表示限制了临床信任和解释预测的能力。因此，这些多模态表示的可解释性对于预训练医学 VLM 的可靠临床部署至关重要。然而，当前的可解释性方法，例如基于梯度或基于注意力的可视化，通常仅限于特定任务，例如分类。此外，它们不提供源自共享预训练表示的概念级解释，而这些表示可以在下游任务中重用。我们引入了 MedConcept，这是一个框架，它以完全无监督的方式揭示潜在的医学概念，并将其建立在临床可验证的文本语义的基础上。 MedConcept 从预训练的 VLM 表示中识别稀疏神经元级概念激活，并将其转换为伪报告式摘要，从而能够对内部模型推理进行医生级检查。为了解决基于概念的可解释性缺乏定量评估的问题，我们引入了一种定量语义验证协议，该协议利用独立的预训练医学 LLM 作为冻结的外部评估器来评估概念与放射学报告的一致性。我们定义了三个概念分数：对齐、未对齐和不确定，以量化与放射学报告相关的语义支持、矛盾或模糊性，并将它们专门用于事后评估。这些分数为评估医学 VLM 的可解释性提供了定量基线。所有代码、提示和数据均在接受后发布。柯