论文

TS-Fault:针对结构性故障对时间序列预报器进行基准测试

TS-Fault: Benchmarking Time Series Forecasters Against Structural Faults

模型评测基准与评测资源

摘要

时间序列预测 (TSF) 支持能源、交通、金融和医疗保健领域的后续决策,但在预测部署可靠性的隐含假设下,TSF 模型几乎普遍根据干净的保留数据按单个数字(例如平均误差)进行排名。然而,真正的故障不是独立同分布噪声,而是具有时间形状的结构化事件、破坏的跨变量依赖性、与缺失相结合的状态变化以及整个传感管道的因果传播。将 TSF 稳健性视为数据质量问题,我们提出了 TS-Fault,这是一个在语义难度可控的显式参数化故障场景下评估预测模型的基准。 TS-Fault 将重复出现的故障沿两个正交轴组织为四种模式(观察级与机制级;单变量与多变量),并通过统一的重要性得分将每个故障注入最关键的预测窗口。这种设计可以根据模型实际依赖的结构来测试鲁棒性,而不是降低到一般的噪声敏感度。我们在配对的干净/损坏协议下评估了 6 个数据集、4 种模式和 5 个难度级别的 21 个模型。结果揭示了三个与常见排行榜直觉相矛盾的发现:(i)干净数据的准确性与稳健性反相关; (ii) 在观测层面的故障下保留干净的排名,但在机制层面的故障下重新洗牌; (iii) 所有灾难性故障都发生在机制级故障下,基础模型实现了最高的清洁数据精度,但表现出最大的脆弱性。该代码可在 https://github.com/Ray-zyy/TS-Fault 上公开获取。