论文
因式分解以泛化:用于时间序列预测的检索引导不变动态分解
Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting
摘要
时间序列基础模型(TSFM)最近通过大规模预训练和检索增强预测实现了强大的零样本预测性能。然而,我们的实证分析揭示了基于检索的预测的一个重要局限性:检索往往会引发更多的振荡预测,从而提高高波动序列的性能,同时降低平滑、趋势主导序列的准确性。这表明检索到的信息可能会融合到预测中,而无需明确区分稳定的时间结构与特定于实例的变化,这可能会降低分布变化下的鲁棒性。我们提出了一种用于时间序列预测的检索引导的不变动态分解框架。我们没有使用检索作为辅助预测上下文,而是利用检索到的序列作为来自相关环境的隐式样本来指导表示分解。具体来说,我们首先通过基于注意力的聚合构建检索感知表示,然后引入检索引导的路由机制,将其分解为捕获稳定共享结构的不变组件和建模上下文相关变化的动态组件。这两个组成部分分别进行预测并融合以进行最终预测,使模型能够保留可转移的模式,同时保持对不断发展的动态的适应性。我们进一步设计了鼓励不变学习和解开的训练目标,并提供了理论见解,表明检索聚合可以减少方差并在没有明确环境监督的情况下近似不变表示学习。大量实验表明,我们的方法在分布变化下持续提高鲁棒性,并且在零样本预测设置中优于现有的 TSFM 和基于检索的基线。