Aurora-X：渐进课程与模式引导 MoE 时序基础模型

时间序列基础模型 (TSFM) 可以实现跨领域预测，但它们作为通用预测器的发展仍然受到未充分开发的训练潜力和有限的架构多功能性的限制。为了应对这些挑战，我们推出了 Aurora-X，这是一个十亿规模的 TSFM，具有渐进式课程和统一架构。我们首先使用与通道无关的预训练来学习时间模式，然后引入跨变量依赖性、不同的上下文和视野长度，以及未来的协变量（如果在训练中期可用）。可变分辨率后训练进一步实现了推理时每个标记的可调整时间跨度。通过固定的模型权重，这可以在固定的token预算下支持更长的历史记录，或者在相同的历史记录中支持更少的token，从而实现测试时间扩展。凭借多功能架构，Aurora-X 支持跨变量建模、协变量调节以及未来补丁的并行解码以进行概率预测。这些由新型模式引导的专家混合支持，该混合专家通过稀疏激活扩展模型容量，并使用浅层补丁相似性来约束深层路由，指导跨异构时间序列的专家专业化。此外，我们提出了一个隐式分位数网络头，可以预测任意分位数来表征预测分布，从而增强概率预测的灵活性。 GIFT-Eval、TIME、FEV-Bench、TFB 和 DAG-Bench 的综合实验展示了针对预训练 TSFM 和特定任务监督模型的最先进的预测性能。