为传感器提供声音：用于语义时间序列嵌入的多模式 JEPA

基于 Transformer 的架构在语言和视觉方面具有先进的序列建模，但异构多元时间序列的通用表示学习仍未得到充分探索。我们引入了 CHARM（通道感知表示模型），它将通道级文本描述合并到与通道顺序等效的 Transformer 编码器中。 CHARM 采用联合嵌入预测架构 (JEPA) 和新颖的损失促进信息丰富、时间稳定的嵌入进行训练；潜在空间预测增强了对传感器噪声的鲁棒性，而描述感知门控通过学习的通道间关系提供了可解释性。在异常检测、分类以及短期和长期预测方面，学习的嵌入仅使用线性探针即可实现强大的性能。性能主要由 JEPA 目标和条件架构驱动，文本描述充当跨数据集泛化的通道标识符。