MoE 路由是霍夫曼编码吗？发现思想链中的频率分集定律

专家混合架构彻底改变了扩展，但其路由的底层逻辑仍然是一个黑匣子。在本文中，我们揭示了一个基本的控制原则：MoE 路由不仅仅是选择，而是霍夫曼编码的体现。我们引入了频率分集定律，揭示了最先进的模型，例如 Phi-3.5-MoE 和 Gemma-4-27B-A4B，自发地充当信息论引擎。这些模型为常见词元分配稀疏的专家资源，同时调用高度多样性的专家委员会来处理思维链轨迹中罕见、复杂的任务。然而，我们在 Qwen3.5-35B-A3B 中发现了一个关键的冗余陷阱：当有效稀疏度 (k/E_eff) 足够低时，负载平衡无意中强加了功能冗余，掩盖了底层的霍夫曼效率信号。为了弥补这一差距，我们提出了子集差异修剪，这是一种消除功能重复的手术策略。我们证明修剪不会降低推理能力；相反，它释放了模型潜在的霍夫曼效率，迫使逻辑崩溃成流线型、高密度的路径。我们的研究结果表明，下一代 MoE 应该超越强制负载平衡，转向最小描述长度 (MDL) 最优性，为高频信息分配较短的专家路由代码，为低频信息分配更长、更多样化的代码，从而将启发式路由转变为有原则的压缩引擎。