通过全球专家映射进行多领域学习

人类的感知在不同领域都能很好地概括，但大多数视觉模型都在其训练数据之外挣扎。这种差距激发了多数据集学习，即在不同的数据集上训练单个模型，以提高域转换下的鲁棒性。然而，由于数据分布和标签语义的不一致，统一训练仍然具有挑战性。专家混合 (MoE) 模型通过将输入路由到专门的子网络（专家）来提供可扩展的解决方案。然而，现有的 MoE 往往无法有效地专业化，因为它们的负载平衡机制强制在专家之间进行统一的输入分配。这种公平性与域感知路由相冲突，导致专家学习冗余表示，并降低性能，尤其是在稀有或分布外的域上。我们提出了 GEM（全局专家映射），这是一个规划器编译器框架，用全局调度器代替学习路由器。我们的规划器基于线性规划松弛，计算数据集的分数分配给专家，而编译器应用分层舍入将此软规划转换为确定性的、容量感知的映射。与之前的 MoE 不同，GEM 避免了平衡损失，解决了公平性和专业化之间的冲突，并产生可解释的路由。实验表明，GEM-DINO 在 UODB 基准上实现了最先进的性能，在代表性不足的数据集上取得了显着的进步，并解决了少样本适应场景中的任务干扰。