InstMoE：由专业专家提供的自适应多模式路由

多模态输入本质上是异构的，不仅跨模态，而且在有效预测所需的信息路径中也是如此。为了解决这个限制，我们提出了 InstMoE，一种用于多模态学习的自适应专家路由框架。 InstMoE 将每个输入动态路由至专门的单模态和跨模态专家，从而使模型能够根据输入的特征调整其信息路径。然而，当特定于模态的变化掩盖了任务相关的语义时，路由可能会被误导。这种不相关的变化可能会扭曲路由决策，导致输入被分配给不合适的专家。因此，我们引入了对比语义对齐模块，该模块鼓励语义相似的输入共享与任务相关的表示，同时抑制不相关的特定于模态的变化。多模态情感分析基准实验表明，InstMoE 在 CMU-MOSEI 和 CH-SIMS v2 上实现了最先进的性能，同时使用比竞争基准少得多的参数。进一步的分析表明，不同的输入表现出不同的专家偏好，这表明 InstMoE 超越了固定融合，转向了自适应多模态计算。