政权更迭下的情境学习

非平稳序列在控制、预测和决策中自然出现。数据生成过程会在未知的时间发生变化，模型必须检测变化，丢弃或降低过时的证据，并动态适应新的动态。基于 Transformer 的基础模型越来越依赖上下文学习来进行时间序列预测、表格预测和连续控制。由于这些模型部署在非静态环境中，因此了解它们检测和适应状态转变的能力非常重要。我们将其形式化为上下文中的变化点检测问题，并正式建立了解决该问题的 Transformer 模型的存在。我们的构建表明，模型的复杂性（在层和参数方面）取决于有关变化点位置的可用信息水平，从不知道到知道确切的时间。我们通过合成线性回归和线性动力系统的实验验证了我们的结果，其中经过训练的 Transformer 与跨信息级别的最佳基线的性能相匹配。我们还表明，编码和整合变点知识确实提高了预训练基础模型在传染病预测和联邦公开市场委员会 (FOMC) 公告周围的金融波动预测方面的实际性能，而无需重新训练，这证明了其对现实世界政权变化的实际适用性。