论文

迈向可穿戴健康数据的通用智能与接口

Towards a General Intelligence and Interface for Wearable Health Data

模型训练预训练

摘要

尽管无处不在的可穿戴传感器捕获了丰富的行为与生理信息,但将这些信号有效转化为个性化健康洞察仍然充满挑战。具体而言,由于表型的高度多样性以及个体基线健康、生理与生活方式因素的差异,将低层传感器数据转换为能够刻画更高层状态的表征十分困难。此外,收集带健康结局标注的可穿戴数据既费力又昂贵,回溯性标注在实际中也几乎不可行,导致高质量标注数据稀缺。为克服这些局限,我们提出一个可穿戴健康基础模型,其在一项涵盖五百万参与者的大型队列的超过一万亿分钟无标注传感器信号上进行了预训练。我们在涵盖心血管、代谢、睡眠与心理健康以及生活方式选择和人口统计学因素的35项多样化健康预测任务上评估,证明模型容量与预训练数据量的联合扩展能带来系统性的性能提升。我们发现这种人群规模的表征解锁了标签高效的少样本学习,以及用于稳健每日指标估计的生成能力。为进一步利用这一习得的表征,我们部署了一组LLM代理自主搜索基于模型嵌入构建的下游预测头空间,展示了随LLM模型容量增大而增强的广泛性能提升。最后,我们展示了将这些下游预测器集成到个人健康代理(Personal Health Agent)中如何支持更相关、更具情境感知且更安全的模型响应,并通过一个临床医生队列的1,860项评分对此进行了验证。

迈向可穿戴健康数据的通用智能与接口:论文配图
图 1:扩展和评估可穿戴健康传感器基础模型 (SensorFM)。我们提出了一种通用的嵌入模型,可以根据模型和数据容量进行扩展,并显示出对一系列生成和判别任务的通用性。 (a) 我们在前所未有的语料库上对该模型进行了预训练,该语料库包含从 500 万参与者中提取的超过 1 万亿分钟的传感器数据,并根据来自 13,985 人的独立数据集对其进行评估,这些数据包含来自三项前瞻性研究的 35 项临床和行为判别任务。 (b) 该模型使用生成重建目标进行训练,该目标在五种传感器模式派生的特征上存在潜在的“瓶颈”。我们评估模型并在一组(c)生成任务上呈现结果 - 这里基线代表没有生成填充的每日估计,以及(d)预测任务 - 这里我们展示了相对于在工程特征上训练的监督模型的相对性能改进。 (e) 预训练和训练后任务的汇总性能分数显示出线性相关性,因为预训练数据和模型容量按数量级共同缩放,这表明基于重建的预训练会导致下游任务的可扩展改进。