论文
LiveHouse-TS:面向时间序列基础模型的开放世界活体基准
LiveHouse-TS: An Open-world Living Benchmark for Time Series Foundation Models
摘要
时间序列基础模型(TSFM)近来已成为跨领域零样本预测这一极有前景的范式。然而,现有评估协议主要依赖带有固定历史测试窗口的静态基准。这些基准虽提供了有价值的基线快照,但评估的是固定历史上的平均性能,无法刻画模型在由季节变化、分布漂移和意外事件所塑造的持续演化的真实环境中的表现。为弥合这一差距,我们推出LiveHouse-TS,首个面向TSFM的开放世界活体(living)基准基础设施。通过以prequential方式在开放世界环境的真实未来数据上评估模型,LiveHouse-TS把时间序列基准测试从快照式准确率转向持续的时间有效性。我们的基础设施并非一次性的排行榜,而是旨在探索重要长期科学问题的持续性时间序列基础设施:模型排名能否长期维持?哪些模型在分布漂移下真正稳健?跨11个领域、17个数据集的大规模流式评估表明,静态排名在实时协议下发生了剧烈洗牌。
