论文

CADENCE:面向ECG基础模型可解释神经概念提取的心脏原子词典

CADENCE: A Cardiac Atom Dictionary for Interpretable Neural Concept Extraction from ECG Foundation Models

模型评测模型行为与机制分析

摘要

12导联心电图(electrocardiogram,ECG)基础模型能很好地跨临床任务迁移,但其表示中编码的生理知识仍不透明。我们提出CADENCE,一个将ECG基础模型分解为人类可解释、可查询的生理概念词典的框架。CADENCE使用BatchTopK稀疏自编码器,将来自超过900万个ECG token的Layer-6嵌入分解为8,192个稀疏心脏原子。与单个稠密嵌入维度相比,这些原子与临床表型和波形形态对齐得更好,恢复了心律失常、传导异常、梗死与复极模式、心腔与电轴发现,以及导联与心拍相位特异的波形基元。在Layer 6,最好的原子在临床表型上取得0.88、在形态上取得0.90的平均AUROC,而最好的稠密维度分别为0.78和0.83。在表型、形态与年龄预测上,稀疏原子探针匹配或超越稠密探针,同时把每个预测归因于一小组可解释原子;表型AUROC从0.93提升到0.95。原子空间几何恢复了生理上连贯的关系,针对性的原子消融能有选择地改变冻结的下游输出。一个自动化LLM流程通过预测留出激活来生成并定量验证原子描述。在独立的外部ECG数据集上,CADENCE恢复了重叠的概念并保持一致的表型预测性能。CADENCE为发现与审计ECG基础模型所编码的生理知识提供了一个可扩展框架。

CADENCE:面向ECG基础模型可解释神经概念提取的心脏原子词典:论文配图
图 1.CADENCE 概述。 (a) 词典构建。冻结心电图基础模型将 12 导联心电图编码为补丁令牌; BatchTopK 稀疏自动编码器将层的第 6 层表示 xℓx_{\ell} 分解为稀疏心脏原子,并将其重建为 x^ℓ\hat{x}_{\ell}。 (b) 临床知识发现。原子字典驱动三种分析:概念发现、关系分析和基于概念的预测。 (c) 大语言模型辅助原子注释。大语言模型从其顶部激活心电图作物和几何结构中描述一个原子,然后通过预测保留的激活来验证该描述。三部分示意图:(a)冷冻心电图基础模型编码 12 导联心电图; BatchTopK 稀疏自动编码器将层的表示分解为心脏原子并重建它; (b) 原子字典支持概念发现、网络关系分析以及基于概念的可归因预测; (c) LLM 描述一个原子并通过预测保留的激活来验证它。