论文
三重奏:利用时空样本注意力和结构因果先验学习时间序列预测
Trio: Learning Time-Series Forecasting with Temporal-Spatial-Sample Attention and Structural Causal Priors
摘要
多元时间序列预测需要模型对时间动态、跨变量依赖性和历史输入输出对应关系进行推理。最近的先验数据拟合网络(PFN)表明,综合任务对于学习可迁移的推理行为非常有用。然而,直接将这种范式转移到时间序列预测仍然很困难,因为普通的表格先验不能自然地捕获时间顺序、动态滞后和重复出现的历史模式。受这一观察的启发,我们提出了 Trio,一种基于时空样本注意力的样本感知时间序列预测架构。时间注意力捕获窗口内的动态,空间注意力模型变量间的依赖关系,样本注意力检索相关的历史回顾-未来对来指导当前的预测。我们的目标不是要求完全通用的 PFN 式预测器,而是研究如何在预测模型中明确组织和重用历史输入输出示例。我们进一步引入时间序列结构因果模型(TS-SCM)生成器来创建具有动态滞后、跨变量交互、噪声、反馈和分布漂移的结构化综合预测任务。对综合、工业和公共基准的实验表明,所提出的架构提高了预测性能。探索性零样本实验进一步表明,TS-SCM 生成的任务可能提供有用的结构先验,而完全通用的 PFN 式时间序列预测仍然是一个悬而未决的问题。