CardioState-JEPA：共享心脏表示的延迟感知跨模态学习

心电图 (ECG)、光电容积描记法 (PPG) 和心音图 (PCG) 提供了同一心动周期的互补视图，但现有的心脏基础模型是针对单一传感模式进行训练的，从而使传感器之间的共享生理学尚未得到利用。我们引入了 CardioState-JEPA，这是一种心脏基础模型，用于联合学习 ECG、PPG 和 PCG 的单一共享表示，该模型建立在生理感知联合嵌入预测架构的基础上。该模型将异构波形映射到公共词元空间中，使用单个共享 Transformer 编码器对其进行处理，并通过预测屏蔽的潜在心脏状态进行学习，将预训练目标置于共享生理学而不是传感器特定的波形外观上。为了处理电、机械和血流动力学事件之间的时间偏移，跨模态预测使用学习的延迟对准器来匹配相应心脏时间的信号。由于同步多传感器记录稀缺，CardioState-JEPA 首先从丰富的单峰数据中学习模态内结构，然后使用配对数据来对齐潜在心脏时间中的模态。作为跨 ECG、PPG 和 PCG 的 25 个下游任务的冻结编码器进行评估，我们的编码器在最佳自监督信号基线上将平均 PPG 分类提高了 8.2 AUROC 点，将 PCG 杂音检测提高了 18.8 AUROC 点，将 ECG 分类提高了 15.5 AUROC 点，并且匹配或超过了在多个 ECG 基准上使用特权临床文本或监督标签训练的心脏模型。这些结果表明，异质心脏信号可以相互监督心脏生理学的单一基础模型。