论文
SleepVLM:用于可审核睡眠分期的基于规则的视觉语言模型
SleepVLM: A Rule-Grounded Vision-Language Model for Auditable Sleep Staging
摘要
睡眠分期对于睡眠评估和疾病诊断至关重要。近年来,自动睡眠分期系统的准确性已接近人类专家,但其预测的黑箱性质阻碍了临床采用。现有的可解释性方法提供了对模型行为的部分洞察,但其输出仍然需要专家重新解释,并且不为审核个体预测提供直接基础。为了提高可信度,我们提出了可审计的睡眠分期任务。为了解决这一任务,我们提出了 SleepVLM,这是一种视觉语言模型,它将睡眠分期视为对渲染的多导睡眠图 (PSG) 波形图像的视觉推理。对于每个时期,SleepVLM 都会输出一个阶段以及适用的美国睡眠医学会 (AASM) 规则和可审核的理由。该模型使用两阶段框架进行训练:波形感知 预训练,然后是基于细粒度和粗粒度注释的混合监督规则 微调。对四个数据集的实验表明,SleepVLM 的平均性能优于最先进的方法。自动 AASM 功能审核显示了基本原理中阶段定义证据的广泛覆盖,独立专家验证了他们的推理质量。为了促进进一步的研究,我们构建并发布了 MASS-EX,这是一个专家注释的数据集,用于基于 AASM 规则注释和专家编写的理由的基于规则的睡眠分期。