利用数十亿级多模态气象数据生成光谱感知文本到时间序列

文本到时间序列的生成在气象学中尤为重要，其中自然语言提供了对复杂、多尺度大气动力学的直观控制。现有方法受到缺乏大规模、物理基础的多模态数据集以及忽视天气信号的频谱时间结构的架构的限制。我们通过文本引导气象时间序列生成的统一框架来应对这些挑战。首先，我们介绍 MeteoCap-3B，这是一个十亿规模的天气数据集，与通过多智能体协作描述 (MACC) 管道构建的专家级描述配对，产生信息密集且物理一致的注释。在此数据集的基础上，我们提出了 MTransformer，这是一种基于扩散的模型，通过频谱提示生成器将文本描述映射到多频带频谱先验中，从而实现精确的语义控制，频谱提示生成器通过频率感知注意来指导生成。对现实世界基准的广泛实验证明了最先进的生成质量、准确的跨模态对齐、强大的语义可控性以及在数据稀疏和零样本设置下下游预测的巨大收益。一般时间序列基准的其他结果表明，所提出的框架的推广范围超出了气象学范围。