论文
超越独立框架:用于多视图超声心动图的潜在注意力屏蔽自动编码器
Beyond Independent Frames: Latent Attention Masked Autoencoders for Multi-View Echocardiography
摘要
超声心动图因其非侵入性和成本效益的性质而成为一种广泛使用的心脏评估方式,但心脏的稀疏和异质时空视图带来了明显的挑战。现有的掩蔽自动编码器(MAE)方法通常独立处理图像或短片,无法捕获连贯心脏表示所需的固有多视图结构。我们引入了潜在注意力屏蔽自动编码器(LAMAE),这是一种针对医学成像的多视图性质量身定制的基础模型架构。 LAMAE 通过潜在注意力模块增强了标准 MAE,该模块能够直接在潜在空间中跨框架和视图交换信息。这使得模型能够聚合可变长度的序列和不同的视图,从部分观察中重建心脏功能的整体表示。我们在 MIMIC-IV-ECHO 上对 LAMAE 进行预训练,MIMIC-IV-ECHO 是一个反映真实世界临床变异性的大规模、未经整理的数据集。据我们所知,我们展示了从 MIMIC-IV-ECHO 视频预测 ICD-10 代码的第一个结果。此外,我们凭经验证明,尽管存在巨大的解剖学差异,但从成人数据中学到的表征可以有效地转移到儿科人群中。这些结果提供了证据,表明结合结构先验(例如多视图注意力)可以产生更加稳健和可转移的表示。