STAR：把MoE路由重构为结构感知子空间学习

专家混合 (MoE) 通过有选择地将输入路由到专门的专家子集来有效扩展模型容量。然而，输入专家专业化（MoE 的核心动机）关键取决于路由器是否真正了解输入结构。在实践中，MoE 路由通常实现为浅线性投影，对输入表示的认识有限，这通常会导致路由不稳定。我们提出了 STAR，一种结构感知路由，通过使用不断发展的主子空间（通过广义赫布算法（GHA）跟踪主要输入结构）来增强标准可学习路由，将 MoE 路由重新视为子空间学习问题。通过直接将路由决策与输入结构保持一致，STAR 可实现稳定的专家专业化。我们在受控合成设置以及大规模语言和视觉任务上评估 STAR，它在强大的 MoE 基线上不断提高路由质量和下游性能。此外，可选的测试时子空间更新进一步增强了输入分布变化下的路由鲁棒性和泛化性。