混合专家模型的路由一致量化的值和结构对齐

专家混合（MoE）模型通过仅激活每个词元的专家子集来有效地扩展基础模型，但其大量的专家参数仍然使得量化对于实际部署至关重要。然而，与密集模型不同，MoE 模型对路由不稳定性很敏感：量化引起的小扰动可能会改变 top-$k$ 专家的选择，从而改变计算路径并降低模型质量。我们提出了量化的值与结构路由对齐（VSRAQ），这是 MoE 特定的 后训练 量化目标，可在量化下保留量化前的专家选择行为。 VSRAQ 结合了两个互补的目标，共同保留专家选择行为：值对齐（匹配路由相关的 logits 或分数）和结构对齐（保留专家排序和 top-$k$ 决策边界）。通过保持路由一致性，VSRAQ 减少了量化引起的性能下降，而不会引入任何推理时间开销，并且可以集成到现有的量化框架中。最近 MoE 基础模型的实验表明，VSRAQ 提高了专家选择的一致性，并且始终优于仅重建和路由器感知的基线。