论文
FM-LLM:频率增强的专家混合框架,用于使 LLM 适应时间序列预测
FM-LLM: A frequency-enhanced mixture-of-experts framework for adapting LLMs to time series forecasting
摘要
大语言模型 (LLM) 的最新进展刺激了时间序列预测的跨模式解决方案。然而,现有的方法严重依赖文本提示来进行模态对齐,这会带来巨大的计算开销,并且无法利用时间序列数据固有的丰富的频谱动态。为了实现冻结 LLM 的无提示、频率感知适应,我们提出了 FM-LLM(用于使 LLM 适应时间序列预测的频率增强专家混合),这是一种基于约束不对称耦合的自回归框架。基于傅立叶分析网络 (FAN) 的频谱标记对齐器将结构化谐波表示直接注入到冻结的 LLM 中,并具有数值兼容性。非对称专家混合 (MoE) 解码器强制执行角色分离:具有轻量级 FAN 层的共享专家重建全局周期性主干,而路由专家(仅限于标准 FFN)专门负责对非周期性残差动态进行建模。时频混合损失函数联合优化时间精度和频谱一致性,减轻长范围自回归预测轨迹期间的误差累积。经过 11 项公共基准测试的评估,FM-LLM 在 78 项评估指标中的 59 项中实现了最先进的性能。与基于 LLM 的最强自回归基线相比,它的 MSE 平均提高了 5.3%,MAE 平均提高了 5.6%,MSE 提高了 8.0%,MAE 提高了 8.4%。 FM-LLM 还表现出强大的可迁移性,在 10% 少样本和零样本预测场景中保持卓越性能。