论文
自监控时序适配的交换性失效:前提本身成为问题
The Premise Is the Problem: Exchangeability Failure in Self-Monitored Test-Time Adaptation
摘要
现代预测模型通常在部署后进行更新,以便能够响应不断变化的数据。这些更新也会使预测变得更糟,因此实际系统需要一个可靠的监视器来检测有害的变化并触发保护。一个自然的设计是监控指导更新的相同预测错误。本文询问当监测和适应使用相同的反馈时,这种监测背后的统计保证是否仍然有效。我们在多步时间序列预测中研究这个问题。我们表明,重叠目标和预测误差的依赖性可能会打破保证所需的关键假设。即使没有发生有害变化,监视器也可能会发出警报,并且其响应可能会进一步损害预测质量。我们还发现,适应可以隐藏其自身监视器的持续变化,而原始冻结模型保留了更清晰的信号。这些结果揭示了自我监控适应的基本失败模式。他们展示了为什么可靠的部署需要检查监控器的假设,将适应情况与实际反馈下的冻结模型进行比较,并限制每个保护响应的效果。