检索机制超越时间序列预测中的长上下文缩放

时间序列基础模型（TSFM）借用了自然语言处理的长上下文范式，前提是向模型中输入更多历史记录可以提高预测质量。但在随机领域，遥远的历史通常只是高频噪声，而不是信号。因此，所提出的工作通过 ETTh1 基准测试运行连续上下文架构（包括 PatchTST）来测试这个前提是否确实成立。获得的结果与前提相矛盾：逆标度定律清楚地显现出来，预测误差随着上下文变长而增加。 3,000 步的窗口会导致性能下降超过 68%，这证明注意力机制在忽略不相关的历史波动性方面表现不佳。检索增强预测（RAFT）被评估为替代方案。 RAFT 通过固定的 720 步窗口和选择性检索实现了 0.379 的均方误差 (MSE)，尽管需要的计算量少得多，但其性能优于长上下文配置和零样本基础模型（Chronos、Moirai）。此外，检索步骤仅注入最相关的历史片段作为动态外生变量，这为模型提供了上下文通知的归纳偏差，它无法从原始序列中自行构建。因此，未来的基础模型需要在架构上转向选择性检索。