论文
AME-TS:用于时间序列预测的锚定专家组合
AME-TS: Anchored Mixture-of-Experts for Time Series Forecasting
摘要
时间序列预测模型通过大型 Transformer 主干网不断扩展,但大多数现有方法通过共享的密集计算路径处理所有序列,尽管时间结构存在很大的异质性。专家混合 (MoE) 通过启用条件计算提供了一种自然的替代方案,但标准 MoE 路由使专家专业化难以识别,并且在下游适应过程中通常不稳定。我们提出了 AME-TS,一种结构引导的稀疏时间序列基础模型,它将专家路由与可解释的时间结构结合起来。 AME-TS 首先使用轻量级预测器来估计序列级描述符,包括可预测性、季节性、趋势和稀疏性,并将它们映射到专家的软结构先验。该系列级先验在训练期间指导 词元级 路由,鼓励结构一致的专业化。在 GIFT-Eval 基准上,AME-TS 在模型尺度上提供了强大的准确性与效率权衡:它在小模型尺度上大大优于现有的时间序列基础模型,并在较大尺度上保持与最强模型的竞争力,同时通过稀疏路由激活显着更少的参数。我们进一步表明,在 M5 数据集上的 微调 期间,AME-TS 比标准 MoE 学习更多可解释的路由几何形状和更稳定的专家专业化。这些结果表明,结构感知路由是实现稀疏专家模型在时间序列预测中的优势的有效且可靠的方法。