论文

RAE-PPG:PPG 基础模型的基于持续时间的保留和扩展预训练

RAE-PPG: Duration-Grounded Retain-and-Extend Pretraining for PPG Foundation Models

模型训练预训练

摘要

来自光电体积描记法 (PPG) 的信号特征需要不同的信号持续时间来表征。现有的PPG基础模型将持续时间视为预训练或评估条件,而不是利用PPG特征所需的不同持续时间来组织自我监督。我们假设自我监督应该随着信号持续时间而扩展,允许单个编码器逐步获取额外的特征,同时保留和重用早期的学习。我们引入了保留和扩展 PPG (RAE-PPG),它在 10 s、30 s 和 240 s 输入上连续训练单个 Transformer 编码器,为每个较长观察支持的信号特征添加监督。编码器被划分为特定于持续时间的参数组,允许后面的阶段重用早期的组,同时仅更新分配给当前阶段的组。选定的早期目标被重用来监督后期阶段,从而鼓励相应的特征在较长的输入表示中保持可访问性。最终编码器的直接解码表明,早期特征仍然可以从较长的输入表示中恢复,而后期特征在其引入持续时间内表现出更高的平均解码性能。受控比较进一步表明,前期学习为学习两个过渡中新引入的特征提供了更好的基础。在 8 个数据集的 18 个任务中,与 5 个现有的 PPG 基础模型相比,最终的冻结编码器在 12 个任务上实现了最佳观察分数。