论文

LiveHouse-TS:面向时间序列基础模型的开放世界活体基准

LiveHouse-TS: An Open-world Living Benchmark for Time Series Foundation Models

模型评测基准与评测资源

摘要

时间序列基础模型(TSFM)近来已成为跨领域零样本预测这一极有前景的范式。然而,现有评估协议主要依赖带有固定历史测试窗口的静态基准。这些基准虽提供了有价值的基线快照,但评估的是固定历史上的平均性能,无法刻画模型在由季节变化、分布漂移和意外事件所塑造的持续演化的真实环境中的表现。为弥合这一差距,我们推出LiveHouse-TS,首个面向TSFM的开放世界活体(living)基准基础设施。通过以prequential方式在开放世界环境的真实未来数据上评估模型,LiveHouse-TS把时间序列基准测试从快照式准确率转向持续的时间有效性。我们的基础设施并非一次性的排行榜,而是旨在探索重要长期科学问题的持续性时间序列基础设施:模型排名能否长期维持?哪些模型在分布漂移下真正稳健?跨11个领域、17个数据集的大规模流式评估表明,静态排名在实时协议下发生了剧烈洗牌。

LiveHouse-TS:面向时间序列基础模型的开放世界活体基准:论文配图
图1. 所提出的 LiveHouse-TS 与静态基准的比较。LiveHouse-TS 引入流式评测协议,以捕捉模型在真实运营条件下的稳健性。它要求模型在当前世界时间、即观测到真值之前进行预测,从而消除数据泄露,评测与排行榜随新数据到来持续更新。