唤醒休眠专家：反事实路由减轻教育部幻觉

稀疏专家混合（MoE）模型已经实现了显着的可扩展性，但它们仍然容易受到幻觉的影响，特别是在处理长尾知识时。我们发现这种脆弱性源于静态 Top-$k$ 路由：路由器倾向于青睐高频模式而不是罕见的事实关联。因此，拥有关键长尾知识的“专业专家”通常被分配较低的门控分数并保持“休眠”状态——尽管已证明它们对其他输入具有因果重要性，但它们对特定词元的优先级较低。为了解决这个问题，我们提出了 Counterfactual Routing (CoR)，这是一个 无需训练 推理框架，旨在唤醒这些休眠的专家。 CoR 将逐层扰动分析与反事实专家影响 (CEI) 指标相结合，动态地将计算资源从语法主导层转移到知识密集型层，同时保持恒定的总激活计数，通过虚拟消融有效检索因果决定性专家。在 TruthfulQA、FACTOR 和 TriviaQA 上进行的大量实验表明，CoR 在不增加推理预算的情况下平均将事实准确性提高了 3.1%，与静态缩放策略相比，建立了优越的帕累托前沿。