SPOTR：通用生理信号自监督学习的时空池化一词元重建

脑电图、心电图、PPG等生理信号广泛应用于临床监测。最近的自我监督学习（SSL）方法提供了一种利用未标记录音的有吸引力的方法，但它们在实践中仍然存在不足。特别是，当前的 SSL 方法在异构数据集上遇到困难，经常扭曲具有临床意义的结构或从时间和跨通道冗余中学习捷径。因此，现有的 SSL 方法通常在线性探测（一种更符合现实世界医疗场景的轻量级适应设置）下提供有限的性能。此外，大多数基于 Transformer 的 SSL 模型都会编码扁平的时空词元序列，从而产生较高的计算和内存成本，并且通常在单一模态中开发。为了解决这些限制，我们提出了 SPOTR（时空池化单词元重建），这是一种压缩重建预训练框架，为生理信号引入了单词元全局瓶颈。 SPOTR 将每个波形压缩为单词元表示形式，并仅根据该表示形式重建信号。同时，SPOTR引入了高效的时空压缩模块来减少计算和内存成本。在涵盖 EEG、iEEG、ECG 和 PPG 的 20 个数据集上进行预训练，SPOTR 在线性探测下始终优于最强基线，平均 AUC 分别提高了 18.49%、21.71%、17.86% 和 4.64%。与代表性的通用时间序列基础模型相比，SPOTR 的延迟平均降低了约 78%，峰值 GPU 内存平均降低了 52%。代码可以在 https://github.com/5GYYYYY/SPOTR 找到。