论文

基于 LLM 的时间序列预测的有效测试时间缩放

Efficient Test-Time Scaling for LLM-based Time Series Forecasting

模型推理推理加速

摘要

长期时间序列预测受益于保留趋势和季节性等全球结构。最近基于 LLM 的预测器通常通过测试时间缩放(例如迭代细化)来提高准确性,但这些方法的计算成本很高,并且随着预测范围的扩展,越来越容易出现全局形状不匹配。我们提出了 SCALER,一种从粗到精的预测框架,它首先采用针对长期形状建模定制的轻量级 Transformer 来预测未来动态的粗略表示。然后,该预测形状可以作为 LLM 的紧凑指南,通过迭代从粗到细的残差标记细化来执行测试时间缩放,同时在每个步骤中处理的标记数量大大减少。通过明确的未来形状预测来指导细化,SCALER 减少了对长描述提示的依赖,其固定步长细化避免了昂贵的基于奖励模型的选择,进一步降低了计算开销。实验结果表明,SCALER 在长期、短期和零样本预测方面优于强大的预测基线,同时显着降低了与时间序列预测的缩放 LLM 相关的推理成本。代码:https://github.com/xuanmay2701/SCALER。