FedWeave：重新思考异构联邦 MoE-LoRA 中的专业化单元

联合 PEFT 使 LLM 能够协作适应去中心化的私有数据，而无需共享原始示例。然而，客户端之间的任务异构性可能会导致聚合过程中的跨任务干扰和梯度冲突。联合 MoE-LoRA 通过专门的 LoRA 专家和条件路由来应对这一挑战。然而现有的方法通常专注于客户端粒度，隐含地假设任务一致的客户端。我们的核心见解是专家需要纯度，即保持专业化的模式一致更新，而路由器需要对比，即支持专家比较的混合任务观察。我们提出了FedWeave，一个采用非对称聚合的框架，将专家聚合与路由器优化分开来满足这两个要求。 FedWeave 使用无监督原型发现来形成本地存储桶并在客户端之间对齐它们，从而实现原型级专家聚合，同时保留用于路由器训练的混合任务客户端轨迹。在推理时，FedWeave 与一位活跃专家一起执行稀疏推理，同时保留几乎所有软路由性能。我们的理论分析解释了为什么非对称聚合是有利的：它通过偏离模式污染控制平稳性中的专家收敛，识别由碎片路由器轨迹引起的共识错误，并限制稀疏推理风险。在具有主流 LLM 主干的异构多任务基准上，FedWeave 始终优于强大的基准，而消融验证了我们设计的有效性。