进入时间序列的轨道：基础模型的训练制度

时间序列基础模型（TSFM）主要通过架构创新取得进步，而大规模异构语料库的训练机制仍有待探索。因此，预训练 分布在域不平衡、上下文要求、预测范围和缺失方面通常控制不佳。我们引入了 ORBIT（全方位引导增量训练），这是一种使这种分布变得明确且可控的训练范例。 ORBIT 将 Bootstrap 多级采样（控制数据集暴露和样本记录、目标变量、上下文窗口和预测范围）与全方位增量训练（在单个训练阶段改变上下文长度和预测范围）相结合。在 ORBIT 下，我们训练 Falcon-2.0，这是一个简单的单变量编码器 Transformer，具有缺失感知三通道补丁标记化和并行补丁预测。我们进一步介绍了排名引导的跨深度对齐，这是一种训练目标，它使用后期层表示作为浅层的停止梯度教师，而无需额外的推理成本。对 GIFT-Eval 和 fev-bench 的评估展示了跨不同领域和频率的强大零样本预测性能。