论文

Chronos-2从历史上下文推断多序列与协变量关系以零样本预测

Chronos-2: A foundation model for multivariate time series forecasting

应用与实践结构化分析、预测与决策

摘要

具有不确定性量化的准确预测对于从流行病学和经济学到能源系统和地球科学的各种科学应用至关重要。然而,大多数预测模型仍然需要针对每个特定领域的数据集单独开发和训练。时间序列基础模型(TSFM)旨在消除这一限制,并通过大规模预训练实现同一模型跨领域的应用。然而,大多数现有的 TSFM 独立处理每个时间序列,因此无法对时间序列和外部驱动因素之间的交互进行建模。在这里,我们介绍 Chronos-2,这是一种零样本预测的基础模型,用于对科学应用中常见的多元时间序列和异质协变量之间的相互作用进行建模。该模型直接从历史上下文推断时间序列之间的关系,并生成概率预测,而无需针对特定任务进行处理。在各种基准测试中,Chronos-2 平均达到了最先进的准确度,相对于最强基线,预测技能评分(skill score)提高了 5.2 个百分点,获胜率提高了 10 个百分点。 Chronos-2 的计算效率也很高,可以在单个中档 GPU 上在一秒内生成 100 个时间序列的预测,端到端速度分别比最佳的特定任务点预测器和概率预测器快 50 倍和 1000 倍。此外,我们还证明了其在各种科学环境中的有效性——包括传染病预测、宏观经济建模、碳通量预测和径流模拟——其中该模型匹配或超过为每个领域开发的专门方法。这些结果表明,单个预训练模型可以捕获跨时间系统共享的结构。

Chronos-2从历史上下文推断多序列与协变量关系以零样本预测:论文配图
图1:Chronos-2完整流程。(a)架构:输入时间序列(目标与协变量)先归一化缩放,再token化。Transformer堆叠交替使用时间注意力与组注意力层,输出经神经网络映射为分位数预测。图中有两个时间序列任务:青色任务含两个目标和一个已知未来协变量;粉色任务含一个目标和两个已知协变量。(b)token化:向时间序列追加表示观测位置(时间索引)及是否缺失(掩码)的元特征,将序列与元特征切分为不重叠图块,再经神经网络映射为高维嵌入。(c)注意力:时间注意力在单个序列内部跨图块聚合信息;组注意力在每个图块索引处,跨组内全部序列聚合信息。两个任务的组分别以青色、粉色标出。组是灵活的关联概念,可以是单个序列、共享来源或元数据的多个序列、多变量序列的各变量,或目标及其关联协变量。组注意力使模型在推理时依据可用上下文,推断组内不同时间序列的关系,即上下文学习。