论文
路由还不够：诊断 MoE+LoRA 微调 中的适配器内子空间争用
Routing Is Not Enough: Diagnosing Intra-Adapter Subspace Contention in MoE+LoRA Fine-Tuning
摘要
多域 微调 通常将 MoE 路由与 LoRA 结合起来，假设 词元级 路由分离特定于域的更新。我们使用 Python 代码结合生物医学文本和数学推理在 MoE+LoRA 中测试这一假设。尽管这些域显示出近乎不相交的专家路由，但添加生物医学数据大大增加了代码的复杂性，表明单独的路由分离可能无法防止负传输。为了定位故障，我们引入了 Jaccard 路由重叠和适配器梯度余弦相似度，分别衡量专家共享和更新兼容性。这些诊断表明干扰主要来自同一低秩适配器子空间内竞争的近正交域梯度。我们通过 SpawnLoRA 解决了这个问题，当检测到适配器级争用时，它会在 MoE 专家内部动态添加门控子适配器，同时保持路由器固定。我们在 Phi-tiny-MoE-instruct 和 OLMoE-1B-7B 上跨多种混合设置评估 SpawnLoRA，发现与标准和等级自适应 LoRA 相比，它可以有效减少负迁移。这些结果表明，专家内部的结构分离所带来的好处超出了单独的路由或等级扩展的范围。