论文
Align-RAG:对齐是 TSFM 情境学习所需的一切
Align-RAG: Alignment Is All You Need for TSFM In-Context Learning
摘要
检索增强预测有望在没有 微调 的情况下使冻结时间序列基础模型 (TSFM) 适应新领域,但最近的方法通常依赖于学习融合模块,即基于冻结主干网无法自行动态合并检索到的上下文的假设,将检索到的示例合并到主干网预测中的训练有素的适配器。我们证明这个假设是不必要的。我们引入了 Align-RAG,这是一种 无需训练 方法,该方法在进入冻结骨干网的上下文之前对检索的过去未来窗口应用封闭形式的每对幅度重新缩放和整数滞后相移。在没有学习参数的情况下,Align-RAG 在标准基准的所有七个数据集(平均 -3.75% MSE)上优于冷冻 Chronos-Bolt 上最先进的经过训练的检索适配器,这表明之前归因于学习融合的增益无需任何训练即可恢复。 Align-RAG 在具有各种架构的另外四个冻结 TSFM 上进一步将每个骨干网的零样本 MSE 提高了 2.5% 至 13.7%,且无需每个骨干网调整。为了探究对齐有帮助的原因,我们将对齐演示下冻结主干的预测偏移与同一对上的封闭形式脊预测偏移进行比较。我们发现,对齐的演示会引起预测变化,跟踪同一对上的封闭式山脊预测器,并使用未来洗牌控制排除未来平均账户。总之,这些结果表明,冻结的 TSFM 已经支持检索的动态上下文使用,并且在训练任何融合模块之前,闭合形式对齐应该是检索增强预测的默认基线。代码位于:https://github.com/masadi-99/align-rag