PPG-LM：具有多级临床一致性的光电体积描记法语言模型

光电体积描记法 (PPG) 被临床监视器和消费者可穿戴设备广泛记录，提供可扩展的连续生理信息源。这些记录为大规模生理评估提供了机会，但要实现这一潜力，需要模型从信号衍生的生理监督和电子健康记录 (EHR) 中捕获的更广泛的临床背景中学习。这涉及到将本地观察、护理事件和整个就诊的信息与相应时间尺度的 PPG 表示进行对齐。然而，现有的PPG基础模型主要依赖于特定任务的预测头，而大语言模型的医学知识不一定转化为波形理解。为了弥补这一差距，我们引入了 PPG-LM，这是第一个 PPG 语言模型系列，可以从信号衍生的监督和 EHR 中捕获的更广泛的临床背景中学习生理表征。为了构建基于临床的字幕，我们开发了一个自动字幕管道，可以根据信号测量和结构化 EHR 记录生成分段、事件和访问级别的描述。然后，我们通过一个两阶段框架从这些对中学习，该框架首先通过对比学习和波形条件字幕建立片段语言对应，然后通过时间感知聚合和时间语句匹配将对齐扩展到事件和访问。 PPG-LM 经过大约 73,000 小时的 PPG 预训练，支持基于语言的识别、跨模式检索和分段字幕。 MC-MED、MIMIC-III 和 VitalDB 上的实验表明，在多个临床预测任务上，检索和描述事实性优于语言模型基线，并且优于 PPG 和时间序列基础模型。