内部放松，整体平衡：视觉语言专家混合的几何引导负载平衡

视觉语言 MoE 批次包含不同数量的图像和文本标记。图像分辨率、图像计数、平铺和提示长度都会改变这种词元组合。我们将标准 词元级 开关辅助损耗称为 Std-Aux。 Std-Aux 仅平衡混合负载，因此大图像和文本负载错​​误可以在一次混合中消除。在我们的主模型上，相同的经过训练的路由器在图像分辨率之间的负载不平衡显示出五倍以上的变化。我们保持图像和文本负载配置文件固定，并随着词元组合的变化得出准确的负载曲线。图像-文本负载间隙控制对词元混合的敏感度。物理预处理还可以更改条件配置文件。固定轮廓法排除了此类变化。为了设计补救措施，我们检查路由器输入结构。图像和文本占据不同的区域，而视觉标记则按源图像强烈分组。模态边界激发了单独的图像和文本术语。图像边界为每个图像激发一个等权重路由实例。 ReBA，即放松内部，平衡平衡，实现了这两种选择。在四个分割主干上，ReBA 降低了每个报告的基准输入的负载，同时保持平均任务精度与 Std-Aux 相当。 ReBA 还降低了测试范围内的平均负载以及分辨率和平铺移位下的最差物理负载。代码可在 https://github.com/ZiangWu-77/ReBA 获取。