GeMoE：在基于 MoE 的大型视觉语言模型中，门控熵是实现不确定性感知自适应路由所需的全部

随着模型参数和训练数据的增加，大型视觉语言模型（LVLM）的指令跟踪和泛化能力得到显着提高。基于专家混合 (MoE) 架构，LVLM 扩展了参数容量，同时保持了推理成本。然而，传统的 MoE 方法采用 Top-k 静态路由策略，无法考虑输入的变化并自适应地选择专家数量，导致资源利用率不佳。在本文中，我们建议将词元路由视为一种信息编码任务，将动态路由视为编码中的最小描述长度（MDL）问题。通过在 MoE 场景中验证 MDL 和门熵之间的联系，我们引入了用于 MoE 的基于门熵的不确定性感知自适应路由（GeMoE）。与传统的静态或基于启发式的动态路由方法不同，GeMoE 明确地对模型复杂性和性能之间的权衡进行了建模。通过使用门熵来评估词元的复杂性，GeMoE 自适应地确定每个词元应聘用的专家数量。在广泛的骨干网和基准测试中，与原始静态路由相比，我们的方法实现了 99.5% 的平均性能保留，同时将平均专家激活稀疏性提高了 36.5%。