论文

TimeBraid:统一时间序列和语言以进行理解和预测

TimeBraid: Unifying Time Series and Language for Understanding and Forecasting

模型架构Transformer

摘要

我们提出了 TimeBraid,一系列统一的时间序列和语言模型,通过交错的全局剩余注意力层来对齐预训练的语言模型和预训练的时间序列基础模型。每个模型都继承了一侧的知识、指令跟踪和推理,另一侧的连续信号感知和零样本预测,并将两者融合在一个共享表示空间中,在该空间中两种模态都被理解和生成。我们研究使这种统一建模发挥作用的设计选择:在哪里对齐两个表示空间,如何在时间结构中奠定语言基础,如何平衡理解与生成,以及如何保持联合优化稳定。由此产生的配方结合了针对不同时间序列和文本任务的统一提示方案、稳定的联合训练以及来自 220 万个精选系列文本对和 490 万个指令调整样本的监督。在涵盖时间序列感知、理解、推理以及上下文辅助和单峰预测的基准测试中,TimeBraid 与更大的通用模型和特定任务模型相比仍然具有竞争力。