可审计混合专家路由的持久状态

专家混合 (MoE) 模型重复将词元路由到稀疏的专家子集，但传统路由器没有公开跨层影响如何累积的特定于路由的记录。我们引入了 Scratchpad-Augmented Mixture-of-Experts (SA-MoE)，它使每个路由器能够访问不提供给专家的低维持久状态。学习的分层写入会更新此状态，并且它们实现的更新后更改准确地分解了对任何后续路由余量的状态介导贡献，形成路由分类账。在基于 SmolLM2 和 Gemma 的稀疏升级模型以及每个架构的三个独立训练种子中，该路径增加了不到 1% 的分析前向计算，并且被经过训练的路由器强烈使用：本地删除其路由器贡献分别改变了 87.6% 和 69.9% 决策中选定的 Top-2 专家集。相对于匹配的最新只写控制，持久积累将长期未来路由可访问性提高了 19.4 和 12.2 个百分点，对每个种子都产生积极影响。超过 90% 的绝对账本贡献来自两个系列中的非最近写入，并且对账本选择的写入的完全前向抑制会更改后来的路由和输出分布。账本是持久状态路径的精确来源对象，而不是路由的完整因果解释。敏感度感知分数可以更好地预测全面前向干预效果，事后方法无需架构修改即可恢复相关的跨层归因。相反，SA-MoE 使特定于路由的计算历史变得明确，并且可以在模型的自然前向计算中直接检查。