论文
OpenTSLM TeeMoE：用于预测、上下文预测和推理的统一时间序列语言模型
OpenTSLM TeeMoE: A Unified Time-Series Language Model for Forecasting, Contextual Prediction, and Reasoning
摘要
现实世界的时间序列应用程序越来越需要能够处理时间序列预测、上下文条件预测和基于语言的时间推理的模型。然而，当前的时间序列基础模型在这些功能上仍然分散：数值专家通常提供最有力的预测，而基于语言的模型提供更广泛的上下文理解和分析。一个核心挑战是在不降低其各自性能的情况下统一这些异构功能。我们引入了 OpenTSLM TeeMoE，这是一种通用时间序列语言模型，可以直接根据观察到的时间序列进行预测，对文本上下文和时间模式进行推理，并综合和完善外部数值预测专家的预测。我们独立培训三名低秩专家，通过共享主干进行预测聚合、原生预测和时间分析。然后，经过学习的 LoRA 专家混合控制器会对每个请求的冻结参数更新进行加权。我们提出的模型在广泛使用的时间序列预测、上下文条件预测和基于语言的时间推理基准上实现了强大的性能，在 GIFT-Eval 上的平均 MASE 排名、Context is Key 上的 RCRPS 排名和 TimeSeriesExam 上的准确度上排名前三。