上下文路由什么时候有用？时间序列预测中多模态融合的系统研究

多模态时间序列预测方法通过日益复杂的融合机制将辅助上下文集成到时间预测中。越来越多的工作报告了巨大的收获，但通常不清楚它们是否反映了对环境的真正使用或附带的建筑效果。我们问一个更狭隘的、可检查的问题：辅助上下文什么时候可以帮助预测者？我们确定了两个必须同时满足的数据集级条件：(1) 目标不受最后值快捷方式支配（低自相关 rho_h），以及 (2) 上下文携带有关历史之外的目标信息（非零条件互信息 delta；当 delta=0 时，没有预测器可以受益——无分布的结果）。通过对 MoME（14.3B 参数混合专家模型、6 个数据集、10 个种子）和在单主干测试台（5 个数据集）内实现的四种附加融合机制的受控实验，我们发现当这两个条件都成立时，文本条件专家调制有助于显着降低 MSE；当任何一个失败时，贡献都会崩溃到调制路径的容量下限，并且不携带上下文可归因的信号。我们通过两种干预措施建立因果关系：添加 MoME 的快捷方式可将 3 个数据集的路由贡献抑制 77-93%；环境质量的逐渐恶化导致特定环境的收益从 +44% 变为负值。我们在 27 个 Monash Archive 数据集上验证了诊断的自相关部分。我们提供了经过校准的 预训练 诊断，在我们测试的数据集上，在功能良好的设置中不会产生误报。我们明确指出了证据的不对称性：负值臂广泛可靠，而大的正值来自单一模型族 (MoME)，并且仅在测试台的方向上得到证实。