论文

EVL-ECG:多方面异构的高效心电图解释 知识蒸馏

EVL-ECG: Efficient ECG Interpretation With Multi-Aspect Heterogeneous Knowledge Distillation

摘要

高保真心电图解释越来越依赖于大规模基础模型,但其在临床边缘护理中的部署仍然受到极端计算需求的阻碍。虽然 知识蒸馏 (KD) 是一种有前途的解决方案,但传统方法在跨异构架构传输知识时无法捕获 ECG 信号复杂的时空依赖性。在本文中,我们提出了EVL-ECG,一个专门为心脏诊断逻辑的跨架构蒸馏设计的框架。 EVL-ECG 引入了三项 ECG 感知创新:(1)多头交叉注意力对齐,协调架构差异以保留细粒度的形态特征; (2) 基于最佳传输的视觉特征匹配,尽管标记表示不匹配,但利用最佳传输来维持心电图导联之间的全局结构关系; (3)几何架构内关系匹配,提炼出教师模型的潜在诊断推理。跨 ECG 基准的评估表明,与现有基线相比,EVL-ECG 的 AUC 提高了高达 2.4%,临床准确性提高了 1.1%。值得注意的是,EVL-ECG建立了高效的2B参数心电图基础模型,适用于资源有限的临床环境。