基于弯头的 MoE 路由：用于专家选择的 无需训练 推理时间插件

专家混合 (MoE) 模型通过仅激活每个词元的专家子集来实现模型扩展，同时保持低推理时间计算。然而，传统的路由依赖于固定的 top-k 选择，迫使模型花费相同的计算，无论有多少专家相关。我们引入了基于肘部的路由，这是一种 无需训练 推理时间修改，可以根据每个词元动态调整专家的数量。我们的方法检查排序的路由器概率分布，并识别区分高概率专家和低概率专家的肘点。我们发现大多数路由器分布都表现出适合该策略的明显拐点，并且我们从理论上和经验上都表明基于肘部的路由可以保持专家负载平衡。在最先进的 MoE 模型上进行的实验表明，平均延迟减少了 5.3%，同时在六个基准测试中保持了准确性。