通过集群感知的升级改造增强专家混合专业化

稀疏升级提供了一种从预训练的密集权重初始化混合专家 (MoE) 模型的有效方法，而不是从头开始训练。然而，由于所有专家都从相同的权重开始，并且路由器是随机初始化的，因此该模型存在专家对称性和早期专业化有限的问题。我们提出了 Cluster-aware Upcycling，这是一种将语义结构纳入 MoE 初始化的策略。我们的方法首先将密集模型的输入激活划分为语义簇。然后通过截断的 SVD 使用其相应集群的子空间表示来初始化每个专家，同时将路由器的初始权重设置为集群质心。这种集群感知的初始化打破了专家对称性，并鼓励与数据分布保持一致的早期专业化。此外，我们引入了专家集成自 蒸馏 损失，它通过使用集成教师提供可靠的路由指导来稳定训练。在 CLIP ViT-B/32 和 ViT-B/16 上进行评估时，集群感知升级在零样本和少样本基准测试中始终优于现有方法。所提出的方法还产生更加多样化和解缠结的专家表示，减少专家间的相似性，并导致更自信的路由行为。项目页面：https://sanghyeokchu.github.io/cluster-aware-upcycling/