论文
预训练语言模型用于时间序列预测的参数高效适配
Parameter-Efficient Adaptation of Pretrained Language Models for Time-Series Forecasting
摘要
我们以参数高效迁移框架研究预训练语言模型适配单变量时间序列预测，理解哪些设计驱动有效跨模态迁移。语言模型处理离散文本token，时序则是有时间依赖的连续数值。为弥合差距，我们将固定长度时序片段直接投影至预训练GPT-2嵌入空间，绕过文本分词，把Transformer作为通用序列编码器。在覆盖能源、天气、交通和金融的七个基准上，通过受控消融分析连续嵌入与文本序列化、冻结与部分或完全微调、适配器及池化和预测头、输入上下文长度的影响。连续片段嵌入持续优于文本提示和随机初始化骨干。更新不足1%总参数时，适配流水线的MASE处于专用预测架构范围内。结果还表明，冻结预训练骨干并训练轻量投影和适配器，可在准确率效率间获得良好权衡，对不同上下文长度表现稳定。
