通过专家损失积分快速训练时间序列预测的混合专家

我们提出了一种新颖的专家混合框架，称为专家损失集成 MoE (EliMoE)，用于时间序列预测。 EliMoE 通过结合专家特定的损失来解决由小门权重引起的优化问题，这为每个专家提供了独立于门分配权重的直接学习信号。具体来说，总体目标包括基本预测损失和专家特定损失，允许个别专家预测误差与总体预测误差一起直接影响参数更新。该框架还鼓励不同的专家从数据的不同时间段中学习。所提出的框架进一步与部分在线学习策略相结合，可以实现模型参数的高效增量更新。通过将专家级损失信息与部分在线学习相结合，EliMoE 提高了预测性能，同时保持了计算效率。来自具有不同采样频率的不同应用领域的五个基准数据集的实证结果表明，所提出的方法通常优于最先进的监督神经预测模型，包括基于 Transformer 的架构（如 PatchTST）以及零样本时间序列基础模型（如 TimeMoE）。此外，消融研究证实了专家特定损失整合策略的有效性，强调了其对提高预测性能的贡献。