时间序列预测的推理感知训练

时间序列基础模型 (TSFM) 擅长数值预测，但作为缺乏定性推理的黑匣子运行。相反，将 LLM 直接应用于时态数据会引入模态差距：文本标记器将连续数值分段，降低数学关系并爆炸序列长度，从而导致计算开销。为了解决这个问题，我们引入了 STRIDE（通过蒸馏嵌入注入的策略时间序列推理），这是一种新颖的框架，将 LLM 推理原生集成到 TSFM 的连续嵌入空间中。 STRIDE 不是离散标记，而是将推理轨迹提炼为轻量级 LLM，将其平均池隐藏状态作为跨模态先验动态投影到目标数值编码器中。该架构使用交叉熵和分位数损失联合优化。评估表明，与 TSFM 相比，STRIDE 在 GIFT-Eval（0.674 MASE，0.454 CRPS）上建立了最先进的数值预测，并在 TFRBench 上表现出卓越的域内和域外数值以及推理性能。具体来说，STRIDE 充当即插即用增强功能，持续改进各种 LLM 配置中的各种 TSFM（例如 Chronos-2、Timer-S1）。因此，将语义推理作为连续先验注入，可以为 TSFM 提供人类可解释的推理能力，同时从根本上提高预测准确性。