重新设计具有多种功率迭代的专家混合路由器

路由器是专家混合模型的基石组件。作为专家代理，路由器矩阵的行计算它们与 MoE 输入的相似性，以确定激活哪个专家子集。理想情况下，每个路由器行都被设计为将专家矩阵编码到该代表向量中，以便其与词元的点积可以更好地反映词元专家亲和力。然而，不存在强制这种凝结的设计原则。在本文中，我们建议将每个路由器行与相关专家的主奇异方向对齐，因为该方向提供了矩阵最具表现力的数学描述。基于这一原则，我们提出了采用流形功率迭代（MPI）的路由器重新设计。具体来说，它引入了“Power-then-Retract”范例，其中对路由器权重执行幂迭代步骤，然后进行缩回以施加范数约束，以确保效率和稳定性。理论上，我们表明 MPI 驱动路由器行向相关专家的主要奇异方向收敛。根据经验，我们在 1B 到 11B 参数的范围内预训练 MoE 模型，以确认这种对齐有助于更有效的 MoE 模型。