CausalMoE：使用模式路由的异构专家进行格兰杰因果发现的十亿级多模态基础模型

格兰杰因果发现 (GCD) 是分析复杂系统中时间依赖性的基础。然而，现有的神经 GCD 方法主要依赖于“一刀切”的范式，难以捕捉现实世界时间序列中固有的分布变化和动态状态变化。这通常会导致纠缠的表示和虚假的因果图。在本文中，我们提出了 CausalMoE，一种十亿级多模态 Granger 因果基础模型，可显式模拟斑块级异质性。 CausalMoE 引入了异构专家的模式路由混合，它动态识别潜在的时间模式并将补丁路由到专门的领域专家，从而有效地将特定于制度的机制与共享动态分离。为了确保可解释的图恢复，我们设计了一种跨变量运行的因果感知自注意力机制，通过近端优化产生稀疏的格兰杰因果图。此外，CausalMoE 是第一个集成 LLM 和 VLM 的产品，将数字信号与文本和视觉先验对齐，从而规范复杂场景中的因果估计。大量实验表明，CausalMoE 在完全监督的基准上建立了新的最先进技术，同时有效地推广到传统方法失败的少数镜头设置。