论文
预测中传感器故障鲁棒性的基准测试
Benchmarking Sensor-Fault Robustness in Forecasting
摘要
网络物理系统 (CPS) 预测模型依赖于具有噪声、偏差、缺失或时间错位读数的传感器流,但标准预测评估通常通过标称误差来选择模型,而不显示它们在此类故障下是否保持稳健。我们介绍了 SensorFault-Bench,这是一种基于 CPS 的共享传感器故障压力测试协议,用于评估预测架构和鲁棒性改进方法,以及组织方法比较的操作分类法。在由标准化严重性模型控制的四个真实数据集和八个评分场景中,它报告最坏场景退化、干净均方误差 (MSE) 和最坏场景故障时间 MSE,将相对鲁棒性与绝对误差分开。不相交的故障转移分割允许显式故障训练方法在相邻故障族上进行训练,同时评估使用单独的基准场景。根据经验,干净 MSE 所青睐的预测架构在故障下可能会急剧退化,并且干净 MSE 排名可能与最坏情况下的故障时间错误排名不一致。 Chronos-2 是经过评估的零样本基础模型代表,在两个单目标数据集上匹配或落后于干净 MSE 中的最后值朴素预测器,并且在 ETTh1 和 Traffic 上具有最大的最坏场景退化,其中所有通道都是预测目标。对于评估的鲁棒性改进方法集,成对的增量显示选择性退化减少:预测梯度下降对抗训练和随机训练导致价值故障主导观察到的退化,而故障增强导致可用性故障主导。 SensorFault-Bench 提供开源代码、记录的数据访问以及复制和扩展指南,因此可以在相同的 CPS 传感器故障鲁棒性协议下评估新的数据集、架构和鲁棒性改进方法。