论文
QuantFlow:基于 Mamba 的联合后 Transformer 时间序列预测基础模型
QuantFlow: A Federated Mamba-Based Post-Transformer Foundation Model for Time-Series Forecasting
摘要
时间序列预测支持金融、能源、交通、公共卫生和工业监测方面的决策。最近的基础模型改进了预测任务之间的传输,但许多模型依赖于集中数据和 Transformer 注意力,这限制了它们在长、高维和隐私敏感信号中的使用。本文提出了 QuantFlow,这是一种概率预测框架,结合了倒序列嵌入、双向 Mamba 状态空间解码器、分位数回归和联邦学习。每个变量都嵌入在整个观察窗口中,进行正向和反向处理,并投影到五个条件分位数。 TSMixup 通过狄利克雷加权插值扩展时间多样性,同时保留序列结构。实验涵盖加密货币、交通、电力、电力Transformer温度、流感和天气数据。 QuantFlow 在 ETTm1 上获得的均方误差为 0.2834,在 Weather 上获得的均方误差为 0.2218,并且 20 个客户端的非 IID 部署在三轮通信后保留了有用的精度,而无需集中原始记录。结果表明,选择性状态空间建模是可扩展、不确定性感知和隐私意识时间序列预测的有希望的基础,同时也揭示了不规则流行病学信号和长期概括的局限性。