论文
TalkLoRA：大语言模型 的低秩适应的通信感知混合
TalkLoRA: Communication-Aware Mixture of Low-Rank Adaptation for Large Language Models
摘要
低秩适应 (LoRA) 实现了 大语言模型 (LLM) 的参数高效 微调，并且最近的专家混合 (MoE) 扩展通过动态组合多个 LoRA 专家进一步增强了灵活性。然而，现有的 MoE 增强 LoRA 方法假设专家独立操作，往往导致路由不稳定、专家占主导地位。在本文中，我们提出了 \textbf{TalkLoRA}，这是一种通信感知的 MoELoRA 框架，它通过在路由之前引入专家级通信来放松这种独立性假设。 TalkLoRA 为低秩专家配备了一个轻量级的通信模块，该模块能够跨专家子空间进行受控信息交换，从而产生更强大的全局路由信号。从理论上讲，我们表明专家通信通过减轻扰动放大来平滑路由动态，同时严格概括现有的 MoELoRA 架构。根据经验，TalkLoRA 在不同的语言理解和生成任务中始终优于普通 LoRA 和 MoELoRA，在可比较的参数预算下实现了更高的参数效率和更平衡的专家路由。这些结果强调结构化专家沟通是基于 MoE 的参数高效适应的原则性且有效的增强。代码可在 https://github.com/why0129/TalkLoRA 获取。