论文

评估零样本时间序列基础模型的准确性和概率可靠性

Evaluating Accuracy and Probabilistic Reliability of Zero-Shot Time Series Foundation Models

模型评测鲁棒性、公平性与可信度评测

摘要

时间序列基础模型 (TSFM) 通过消除特定任务的训练,有望实现零样本预测的范式转变。然而,现有的工作经常忽视预测准确性和概率校准之间的权衡。本文提出了对能源、交通和金融数据集评估的六个 TSFM 的基准研究。我们将它们的表现与统计基线和监督深度学习模型进行了比较。研究表明,虽然 TSFM 的性能优于统计方法和监督模型,但它们受到点精度和概率可靠性之间的基本权衡的影响。具体来说,xLSTM 架构提供了跨视野的稳健概率校准。相比之下,基于补丁的Transformer提供了有竞争力的准确性,但在长期范围内面临校准问题,而基于Transformer的模型则表现出最佳零样本推理的上下文饱和点。这些发现为平衡现实部署中的概括性和不确定性量化提供了基于证据的指导。