CITRAS-FM：协变量信息零样本预测的微小时间序列基础模型

预训练时间序列基础模型 (TSFM) 可以对未见过的目标序列进行零样本预测。然而，现有的 TSFM 通常会产生较高的计算成本，并且对不同变量类型提供的支持有限，通常无法考虑外源影响目标变异性的协变量。为了应对这些挑战，我们提出了 CITRAS-FM，这是一种微型 7M 参数 TSFM，支持单变量、多变量和协变量通知的零样本预测以及实时 CPU 推理。 CITRAS-FM 基于基于补丁的纯解码器 Transformer 构建，将注意力转移引入到跨变量模块中，以有效利用整个预测范围内可访问的已知协变量。此外，为了在缺乏富含协变量的语料库的情况下实现协变量感知的预训练，我们提出了 CovSynth，它从目标序列的分解组件中合成真实的协变量。 fev-bench 上的实验跨越各种设置的 100 个任务，表明 CITRAS-FM 在低于 10M 的 TSFM 中实现了最先进的零样本精度，同时提供低于 0.1 秒的 CPU 推理，在预测精度和实时可部署性之间提供了强有力的平衡。