论文
Falcon-X:异构多元建模的时间序列基础模型
Falcon-X: A Time Series Foundation Model for Heterogeneous Multivariate Modeling
摘要
时间序列基础模型(TSFM)正在通过大规模跨域预训练改变预测范式。然而,大多数现有的 TSFM 仍然是单变量,并且最近支持跨变量建模的努力仍然直接在原始变量空间内运行。这种设计引入了语义对齐和关系表达方面的基本限制。具体来说,原始空间群混合缺乏专门的机制来对齐异质物理量,而标准的非负注意力无法捕获现实世界系统中普遍存在的复杂的协同和对抗相互作用。为了应对这些挑战,我们提出了 Falcon-X,将变量与原始空间解耦,并将它们映射到统一的潜在原型空间中。 Falcon-X 采用统一原型 Diff-Attention 机制,显式评估正负语义亲和力,以显式对齐异构变量。然后通过潜在实体注意力在这个共享空间内有效地执行跨变量交互,自然地促进零样本结构迁移。最后,变量重组路由器通过请求和调度机制稳健地重建特定于变量的轨迹。对 GIFT-Eval 和 fev-bench 基准的广泛评估表明,Falcon-X 实现了出色的预测性能,为复杂的多变量环境提供了原则性的、可扩展的范例。 Falcon-X 公开发布是为了支持未来的研究。