通过语言信息引导的预训练学习可迁移的传感器模型

现代传感系统生成大量无标注的多元时间序列数据。如此充足的无标注数据使自监督学习（SSL）成为学习可迁移表示的天然选择。然而，现有方法大多针对重构或预测目标进行优化，常常无法捕捉下游分类与推理任务所需的语义结构。尽管近期的传感器-语言对齐方法通过描述生成与零样本迁移改善了语义泛化，但它们受限于固定的传感器配置（如预定义的通道集合、信号长度或时间分辨率），阻碍了跨领域适用性。为弥补这些空白，我们提出SLIP（Sensor Language-Informed Pretraining，语言信息引导的传感器预训练），一个用于学习可在多样传感器设置间泛化的语言对齐表示的开源框架。SLIP将对比对齐与以传感器为条件的描述生成相结合，同时促进判别性理解与生成式推理。通过交叉注意力改造预训练的decoder-only语言模型，并引入优雅灵活的patch嵌入器，SLIP在推理时无需额外重训练即可支持不同时间分辨率与可变长度输入。在11个数据集上，SLIP在零样本迁移、信号描述生成与问答中展现出卓越性能。它取得77.14%的平均线性探测准确率，较强基线相对提升5.93%，并在基于传感器的问题回答中达到64.83%的准确率。