MetaMoE：用于保护隐私的专家组合的多样性感知代理选择

专家混合 (MoE) 模型通过组合专业专家来扩展容量，但大多数现有方法都假设集中访问训练数据。在实践中，数据分布在客户端之间，并且由于隐私限制而无法共享，这使得统一的 MoE 训练具有挑战性。我们提出了 MetaMoE，这是一种隐私保护框架，它将经过独立训练的领域专业专家统一到一个 MoE 中，使用公共代理数据作为不可访问的私人数据的替代品。 MetaMoE 的核心是多样性感知代理选择，它从公共数据中选择与客户端域相关且多样化的样本，以有效地近似私有数据分布并监督路由器学习。这些代理进一步用于协调专家训练，改善统一时的专家协调，而上下文感知路由器则增强跨异构输入的专家选择。计算机视觉和自然语言处理基准实验表明，MetaMoE 始终优于最新的隐私保护 MoE 统一方法。代码可在 https://github.com/ws-jian/MetaMoE 获取。