论文

SleepMaMi:融合宏观与微观结构的通用睡眠基础模型

SleepMaMi: A Universal Sleep Foundation Model for Integrating Macro- and Micro-structures

模型训练预训练

摘要

尽管向统一基础模型的转变已经革新了许多深度学习领域,睡眠医学在很大程度上仍局限于关注局部微观结构特征的任务专用模型。这些方法往往忽视多导睡眠图(PSG)丰富的多模态背景,无法捕捉整夜睡眠的全局宏观结构。为解决这一问题,我们提出SleepMaMi,一个旨在同时掌握长达数小时的睡眠架构与细粒度信号形态的睡眠基础模型。我们的框架采用分层双编码器设计:Macro-Encoder用于建模整夜时间依赖关系,Micro-Encoder用于从生物信号中捕捉短期特征。Macro-Encoder通过人口统计学引导的对比学习(Demographic-Guided Contrastive Learning)进行训练,该方式将整夜睡眠模式与年龄、性别、BMI等客观受试者元数据对齐,以优化全局表示。Micro-Encoder通过掩码自编码器(MAE)与多模态对比目标相混合的目标进行优化。在超过20,000份PSG记录(158K小时)的大规模语料上预训练后,SleepMaMi在多样化的下游任务套件中优于或持平现有最先进的基础模型,展现出卓越的泛化性以及面向临床睡眠分析的标签高效适应。

SleepMaMi:融合宏观与微观结构的通用睡眠基础模型
图1:SleepMaMi 概览。整夜 PSG 记录通过分层双编码器架构进行处理。Micro-Encoder 捕捉 K 复合波、睡眠纺锤波和呼吸事件等短期生理模式,而 Macro-Encoder 对整个记录中的全局睡眠结构(包括睡眠周期与阶段分布)进行建模。该设计支持从细粒度事件分割到受试者级临床结局等多种下游任务。