Tabby：时间序列基础模型的开放式预训练方法

在本报告中，我们发布了 Tabby，一个长上下文概率时间序列基础模型，以及完整且开放的构建方法。 Tabby 采用仅编码器的 patch Transformer 架构，并将贡献集中在数据和训练过程上。预训练语料库结合了扩展的现实世界集合、GIFT-Eval-Pretrain+ 和 BLAST，以及来自 KernelSynth 和 CauKerV2 的合成数据，CauKerV2 是一个在线生成器，通过随机采样的结构因果模型组成时间动态。训练结合了渐进式收敛时间表，产生可重用的中间检查点，以及中间层的深度分位数监督目标。由此产生的 145M 参数主干支持多达 8,192 个观测值的上下文，并用于预测、分类和异常检测，而提示调整模块通过冻结预训练权重进一步提高分布内预测性能。 Tabby 在 GIFT-Eval 和分布外 TIME 基准上实现了具有竞争力的零样本预测性能，而相同的预训练骨干网还支持 UCR Archive 上的分类和 TSB-AD-U 上的零样本异常检测。我们在 huawei-noah/trustworthyAI 开源了训练流程和模型。