专注于重要的事情：利用显着性进行精确路由以实现扩散 MoE

专家混合 (MoE) 架构已成为视觉生成中扩展扩散模型的强大范例。最近的进展集中在跨不同词元自适应地分配计算资源以提高效率和性能。然而，我们在现有的扩散 MoE 框架中发现了一个路由分配问题：路由器无法准确地将更多计算资源分配给显着词元。我们的分析将这种失败归因于路由器在整个去噪过程中对噪声破坏的潜在特征的依赖。这种随机噪声掩盖了关键的结构和纹理信息，从而阻止路由器有效地区分显着标记。为了解决这个问题，我们提出了 SharpMoE，一种具有显着性利用精确路由机制的 后训练 框架，它利用干净的潜在特征作为无噪声的路由引导信号。通过绕过噪声失真输入，SharpMoE 为路由器提供清晰的显着性指导，即使在高噪声阶段也能识别显着标记。此外，我们引入了轨迹路由损失来限制整个多步去噪轨迹的计算分配，确保沿生成轨迹的精确资源分配。大量实验表明，SharpMoE 是一种多功能、即插即用的解决方案，可进一步增强预训练的融合 MoE 模型，在视觉生成方面实现最先进的性能。