论文

GITCO:时序基础模型中的门控推理时上下文优化

GITCO: Gated Inference-Time Context Optimization in TSFMs

上下文与知识上下文工程

摘要

基于补丁的时间序列基础模型 (TSFM) 遭受上下文中毒:结构异常的补丁吸引了过多的注意力,并悄悄降低了零样本预测质量。我们建议通过优化输入上下文而不是修改模型权重来提高推理时的 TSFM 准确性。我们提出了 GITCO(门控推理时间上下文优化),这是一个轻量级的三组件框架:Gate、Router 和 Critic,可以选择性地识别和抑制有害补丁,而无需任何参数更新。在 K 倍交叉验证下对 53 个 GIFT-Eval 数据集的 TimesFM 2.5 进行评估,GITCO 在 TimesFM 2.5 上实现了平均 +1.95% 的 MASE 降低,同时捕获了 89.9% 的改进上限。我们引入上下文敏感性配置文件作为 TSFM 的一个新的可表征属性:从时间序列元特征到推理时间上下文干预下的预期准确性改进的映射,由模型架构和数据的统计结构共同塑造。

GITCO:时序基础模型中的门控推理时上下文优化:论文配图
图 1:GITCO 管道:原始 512 步骤上下文窗口(16 个补丁,每组 32 个步骤)被传递到 Gate,Gate 计算元特征来决定是否需要干预。如果是这样,评论家会对所有 16 个补丁进行评分,并确定最具破坏性的一个(以红色突出显示);通过 SMA 的软降噪产生 GITCO 条件上下文。