通过多补丁标记对齐和混合掩码对时间序列基础模型进行规模感知预训练

跨异构数据集预训练时间序列基础模型需要有效处理不同的采样频率。当前的方法要么采用数据集特定的补丁大小和单独的 FFN，导致碎片表示，要么强制执行固定的补丁大小，忽略固有的时间变化。为了解决这个问题，我们提出了 SATS，其特点是具有尺度感知的词元对齐机制，将补丁大小视为明确的尺度概念。通过结合对比启发的对齐正则化器，SATS 可以跨尺度对齐表示空间，同时保留不同的建模能力。此外，引入了结合随机掩蔽和连续掩蔽的混合掩蔽策略来捕获多尺度时间结构。 LSTF 基准的实验结果表明，与竞争基准相比，SATS 在 MSE 方面提高了 9.2%，在 GIFT-Eval MASE 方面提高了 8.3%。值得注意的是，SATS 始终如一地提供 SOTA 性能，同时模型效率比先进基线提高了 65.6%，凸显了其在时间序列预训练方面的有效性和可扩展性。