论文
当 Martingale 从未停止发射时:实时预测流的任何时间有效门控
When the Martingale Never Stops Firing: Anytime-Valid Gating on Real Forecast Streams
摘要
机器学习系统在运行时越来越多地被纠正,并且何时干预的决定越来越多地委托给统计监视器。任何时候有效的推理提供了可以随时采取行动的证据,这正是这种设置所需要的保证,并且它正在从理论转向部署监控。共形测试鞅是变化检测工具,Ville 不等式限制了它们在可交换数据上的误报概率。担保是有条件的。仅当部署所监视的流的行为可交换时,部署才会继承它。前提是最难满足这些监视器最有用的地方,依赖数据和内部循环,监视器修改其读取的分数的学习者。它也很少被测量。我们在预先指定的案例研究中对其进行测量,其中这样的监视器控制卡尔曼适配器的在线更新,纠正五个预测流上的冻结时间序列基础模型。在可交换的合成流上,相同的实现最多在 60 次运行中触发 1 次。在真实流上,当 alpha = 0.05 时,135 个干净流运行中的 135 个被触发。该建筑并没有解释为什么会发生火灾;失败来自于部署的分数流本身。重复的触发使门的漂移响应保持活跃,并且门控滤波器放大了其旨在防止的瞬态。值得保留的组件没有有效性声明。过滤器自身更新的 Huber 式门控可将孤立尖峰退化降低一个数量级,而无需针对数据集进行特定调整。因此,为相关数据提出的任何时间有效的方法应该伴随着零校准控制和机制跟踪。