利用多模态专家组合中的领域专家进行高效适应

专家混合 (MoE) 架构通过稀疏计算扩展模型容量，仅通过一小部分专家路由每个词元。在这项工作中，我们探讨了这种稀疏性是否会导致多模态 MoE 中出现新兴的内在组织。我们发现，尽管专家没有接受过模块化的明确训练，但他们在跨模式和领域中发展了强大的语义专业化。在此结构的基础上，我们引入了 ExpertLens，这是一种无数据方法，通过将路由器权重解码为语义上有意义的词汇标记，直接从预训练的模型权重中识别领域专业专家。我们通过有选择地微调与目标领域相关的专家，利用这种专业化来实现高效的多模态适应。在数学、医学和遥感任务中，ExpertLens 匹配或超越了完全微调，同时仅更新 21.7 - 47.0% 的模型参数，实现了 4.0 倍的平均训练加速，并且在适应性能和训练效率方面均优于 LoRA。这些结果表明，为提高效率而引入的稀疏性可以产生语义模块化，这对高效适应直接有用。