Timer-M1：通过学习原语的多元时间序列基础模型

我们引入了 Timer-M1，这是一种预训练的多元时间序列基础模型，可以使用零样本预测的原语进行学习。在跨领域中，时间序列共享基本的时间和关系模式（称为原语），但这些原语在不同上下文中的表现和演变方式有所不同。尽管在零样本和通用任务预测方面取得了进展，但现有的基础模型可能仍然难以推广到复杂的现实场景。为此，我们开发了一个基于原语的数据合成和预训练管道。合成管道生成具有跨域共享的时间基元的序列，然后使用关系基元将真实序列和生成序列组装成多元样本。然后，通过将不同的通道角色分配为目标变量、仅限过去的协变量和已知未来的协变量，将样本组织成片段，确保模型使用可用的外生信息在可预测变量上进行优化。从技术上讲，Timer-M1进一步采用了门控二维Transformer块，可以动态分配 跨层的交叉变量注意力。在三个大型预测基准中，Timer-M1 在最新的时间序列基础模型中，在 FEV 和 TIME 上均排名第一，在 GIFT-Eval 上排名第二。这些结果支持有效的基于基元的预训练，作为跨领域和任务设置的稳健通用预测技术的途径。