SMoES：MoE-VLM 中的软模态引导专家专业化

专家混合 (MoE) 已成为大型视觉语言模型 (VLM) 的普遍支柱，但特定模态信号应如何指导专家路由仍有待探索。现有的路由策略要么是手工设计的，要么是与模态无关的，依赖于理想化的先验，忽略了 MoE-VLM 中依赖于层的模态融合模式，并且为专家专业化提供了很少的指导。我们提出了软模态引导的专家专业化（SMoES），它由捕获层相关融合模式的动态软模态得分、与专家并行部署相一致的专家分箱机制以及鼓励相干模态专业化的箱间互信息正则化组成。我们的方法利用基于注意力或高斯统计模态分数来优化互信息正则化。四个基于 MoE 的 VLM 和 16 个基准的实验证明了有效性和效率的提高：多模式和纯语言任务的平均增益为 0.9% 和 4.2%，EP 通信开销减少了 56.1%，实际部署下吞吐量提高了 12.3%。这些结果验证了将路由与模态感知专家专业化相结合可以释放 MoE-VLM 的容量和效率。