当模型合并中断路由时：MoE 的 无需训练 校准

模型合并已成为一种经济高效的方法，无需重新训练即可整合多个 LLM 的功能。然而，现有的合并技术（主要基于线性参数算术或优化）在应用于专家混合 (MoE) 架构时会遇到困难。我们确定了 MoE 合并中的一个关键故障模式，称为路由故障，其中合并的路由器无法将词元分派给合适的专家。路由故障源于非线性 softmax 和离散 Top-k 路由机制对合并引起的参数扰动的敏感性，这种敏感性通过 MoE 预训练期间施加的负载平衡约束进一步放大。由于经过微调的专家表现出独特的专业性，因此即使是适度的错误路由也会导致严重的性能下降。为了解决这个问题，我们提出了 Hessian-Aware Router Calibration (HARC)，这是一个 无需训练 框架，它利用二阶曲率信息来重新调整合并的路由器。这种方法允许使用无矩阵共轭梯度法有效求解封闭式解。数学推理和代码生成任务的实验表明，HARC 有效地缓解了不同 MoE 合并基线的路由故障，并带来了显着的性能改进。我们的代码可在 https://github.com/huangcb01/HARC 获取。