论文

从纯合成数据学习时空基础模型

Learning Spatio-Temporal Foundation Models from Pure Synthetic Data

模型训练合成数据

摘要

时空基础模型(STFM)旨在学习跨空间和时间的复杂动力系统的通用表示。然而,现有方法受到现实世界 预训练 数据中的分布偏差、自回归或基于扩散范式的结构瓶颈以及过分强调噪声观测空间中的逐点重建的目标的影响。我们提出 \textbf{NeoST},第一个仅在程序生成的合成系统上预训练的时空基础模型。 NeoST 引入了一个可扩展的合成 预训练 语料库来减轻现实世界的偏差,一种潜在空间推理架构,可以生成并迭代地细化多个未来轨迹,而不会出现顺序错误累积,以及强调结构动态并在分布变化下实现推理时间校正的潜在空间目标。跨越不同现实世界基准的大量实验表明,NeoST 在不同的现实世界时空系统中始终优于现有的 STFM,实现了卓越的性能。长期稳定性和推理效率。